近期，大型語言模型（LLM）的下棋能力引發了科技界的激烈討論，特別是關於 OpenAI 的模型相比其他 LLM 表現出的驚人棋藝。雖然有人懷疑存在不當行為，但深入調查揭示出一個更為微妙的解釋，其根源在於訓練資料質量和模型架構。
高質量訓練資料帶來的差異
OpenAI 的訓練資料篩選方法似乎是關鍵所在。該公司特別篩選了棋手等級在1800 ELO 分以上的對局作為訓練資料，從而建立了高質量的資料集。與之相比，開源模型可能依賴於來自網際網路的未經篩選的棋類內容，其中可能包含許多可能損害模型表現的低質量對局。
基礎模型與對話模型的差異
關於基礎模型和對話模型之間的差異，研究發現了一個有趣的現象。證據表明，OpenAI 的基礎模型在完成模式下可能在下棋方面表現出色，但這種能力在使用者實際使用的對話模型中有所減弱。這種透過指令微調導致的能力衰減代表了 LLM 開發中的一個普遍現象，即基礎模型的某些能力無法完全轉化到其對話調優版本中。
從很多方面來看，這更像是在尋找魔法咒語，而不是工程學。
關於 GPT-3.5-turbo-instruct 的主要發現：
- 在 Lichess 平臺上測得的 ELO 等級評分：約1750
- 非法移動率：在8,205步移動中約5次或更少
- 透過例項學習的表現提升優於透過微調的提升
- 基礎模型的表現似乎比經過對話調整的版本更強
非法走子爭議
社群討論大量關注了非法走子的問題，有人認為這否定了模型真正理解棋類的說法。然而，這種觀點忽略了一個重要細節——模型實際上是在進行盲棋，僅透過文字符號工作，沒有棋盤的視覺表現。即便是熟練的人類棋手在盲棋時也會出現非法走子，因此這並不是評估棋類理解能力的完美標準。
提示工程的關鍵作用
研究發現，提示工程對效能有顯著影響。有趣的是，提供示例比微調在改善下棋水平方面更有效。這表明模型的下棋能力深深植根於其訓練中，但需要適當的提示才能有效發揮。
對人工智慧發展的啟示
這個關於下棋 LLM 的案例研究為更廣泛的人工智慧發展提供了寶貴見解。它突顯了專門的訓練資料如何能顯著提升特定領域的效能，同時也揭示了基礎模型能力與其透過各種調優過程保持之間的複雜關係。
這個謎題的解決指向了當前人工智慧發展的一個基本事實：成功往往不在於複雜的技巧或作弊，而在於訓練資料的質量以及如何有效訪問模型的內在能力。這種理解可以幫助指導未來專用和通用人工智慧系統的發展。