一款名為 Rigorous 的新型 AI 驅動科學手稿評議工具已經發布，承諾讓學術出版變得更快速、更透明。這項基於雲端的服務提供免費的手稿分析，在1-2個工作日內提供全面的 PDF 報告。然而，早期使用者遇到了嚴重的技術問題，學術界對 AI 在同行評議中的作用仍存在分歧。
技術問題困擾早期釋出
嘗試向 Rigorous 平臺上傳手稿的使用者遇到了各種技術困難。一位研究人員報告稱，在嘗試提交一份9.4 MB的研究論文時遇到了 HTTP 413 錯誤和 JSON 解析失敗。錯誤資訊表明存在伺服器超時問題和檔案大小限制，這可能影響了服務在測試階段的可靠性。
開發者承認這些是早期階段的問題，解釋說核心工作流程目前在本地需要約8分鐘，但可以最佳化到1-2分鐘。他們將目前1-2天的處理時間歸因於手動審查步驟和成本控制措施，同時他們正在解決技術問題。
當前效能指標：
- 本地處理時間：約8分鐘（可最佳化至1-2分鐘）
- 雲服務週轉時間：1-2個工作日
- 檔案大小限制：9.4 MB 檔案存在問題報告
- 當前狀態：免費測試階段
社群對質量和信任表示擔憂
學術界對 AI 輔助同行評議表達了複雜的反應。一些研究人員擔心 AI 生成反饋的質量，特別是考慮到最近學術平臺上 AI 撰寫評議的激增。批評者認為，有意義的同行評議需要當前 AI 系統無法提供的深度專業知識和見解。
「評議的意義在於從擁有超越大語言模型知識的行業專家那裡獲得深刻的見解和評論。我知道標準很低，但作為研究社群，我們應該做得更好。」
圍繞平臺透明度的信任問題也已出現。使用者注意到缺乏明確的隱私政策、聯絡資訊以及資料處理實踐的詳細資訊。開發者回應稱他們正處於早期 MVP 模式，並承諾新增適當的聯絡資訊和政策。
有限的訓練資料阻礙 AI 發展
AI 同行評議系統面臨的一個重大挑戰是優質訓練資料的稀缺。歷史上的同行評議報告很少被髮布，只有最近一些期刊才開始公開評議報告。這種全面訓練資料的缺乏可能限制了 AI 系統提供有意義反饋的有效性。
開發者正在探索替代方法，包括分析預印本和最終發表版本之間的差異，以瞭解同行評議通常推動的變化。然而，他們承認即使這種方法也可能無法捕獲最佳的反饋，因為人類評議者的評論有時可能不一致或不合理。
結論
雖然 Rigorous 旨在透過讓同行評議變得更快速、更易獲得來解決學術出版中的實際問題，但其早期釋出揭示了 AI 驅動學術工具面臨的挑戰。技術問題、社群質疑以及關於 AI 提供有意義學術反饋能力的根本性問題表明，廣泛採用可能需要在技術和建立信任措施方面的重大改進。
該工具的開發者似乎對反饋反應積極，正在努力解決關切，但學術界的謹慎接受突顯了對可能影響科學出版決策的系統的高標準期望。