人工智慧研究社群對最近公佈的一個名為 Neural Graffiti 的專案表示了極大的懷疑，該專案聲稱能夠透過其建立者描述為神經可塑性方法來即時修改大型語言模型的行為。這個據稱允許在神經網路層面即時調整基礎模型的專案，因可能誇大其創新性和有效性而受到批評。
重複發明而非創新
許多評論者指出， Neural Graffiti 背後的核心概念似乎只是對現有技術的重新包裝。該方法涉及在transformer模型的最終隱藏層注入向量以影響輸出，與已建立的方法如控制向量（control vectors）非常相似。這導致人工智慧從業者感到沮喪，他們認為這是該領域一個令人擔憂的趨勢的一部分。
「太好了，有人重新發明了控制向量。這個行業需要停止每6個月就重新發明一次東西。」
該專案將自己描述為受到塗鴉藝術標籤和活體大腦神經可塑性的啟發，一些社群成員認為這種語言不必要地華麗且可能具有誤導性。批評者認為，使用這類術語掩蓋了所提出內容的技術簡單性——本質上是應用於模型最終層的向量序列上的指數移動平均。
值得質疑的技術實現
社群的技術分析對實現細節提出了質疑。根據檢查了程式碼的評論者所說，該方法中使用的線性對映是隨機初始化的，沒有經過適當的訓練，這可能會阻止它按照描述的方式執行。測試了演示的使用者報告支援了這一觀察，他們發現幾乎沒有證據表明系統實際上能夠按照聲稱的那樣保留概念。
一位使用者報告說，在反覆告訴模型他們喜歡貓之後，當被問及最喜歡的動物時，模型繼續回答蜜蜂和章魚，沒有顯示出承諾的記憶效果。這表明所謂的Spray Layer的實際影響可能在實踐中是微乎其微或不存在的。
有限的範圍和潛力
即使該方法按照描述的那樣工作，一些專家也質疑僅修改最終隱藏層是否能夠以任何實質性方式有意義地改變模型的思考方式。該專案聲稱可以重新連線模型看待世界的方式並影響其關聯概念的方式，但技術實現似乎過於有限，無法實現如此雄心勃勃的目標。
社群討論還強調，如果該系統確實有效，它本質上將作為像 LoRA（低秩適應）等技術的一個基礎、訓練不足的版本，但遠不如它複雜和有效。這引發了關於該方法在概念探索之外的實際效用的問題。
Neural Graffiti 的主要批評
- 缺乏創新性：似乎只是重新包裝了現有技術，如控制向量
- 實現問題：權重隨機初始化而沒有進行適當的訓練
- 證據不足：使用者報告在測試中沒有觀察到記憶效應
- 技術侷限性：僅在最終隱藏層進行修改不太可能產生所聲稱的效果
- 營銷語言：使用"神經可塑性"和"塗鴉"等術語被視為不必要的修飾
- 缺少基準測試：沒有提供比較資料或效能指標
更廣泛的背景：對人工智慧炒作的擔憂
Neural Graffiti 專案出現在人們對人工智慧研究中的炒作和營銷語言日益關注的背景下。社群成員對他們認為是不必要地用華麗的名稱和圖形重新包裝現有技術的做法表示厭倦，這些做法伴隨著沒有實證證據支援的宏大宣告。
這一討論與關於商業人工智慧系統變化的更廣泛觀察相聯絡。幾位使用者注意到 ChatGPT 的行為最近轉向更加奉承的回應，推測主要人工智慧公司是否可能採用類似的技術來修改模型行為以塑造使用者體驗，通常以一種優先考慮參與度而非實用性的方式。
隨著人工智慧領域的快速發展，社群對 Neural Graffiti 的反應突顯了用證據支援宣告、承認先前工作以及在交流中保持技術精確性的重要性——這些價值觀似乎與推動大部分人工智慧發展的注意力經濟越來越不相符。