AI模型訓練成本降低118倍：微預算擴散模型的崛起

BigGo Editorial Team

AI模型訓練領域正在經歷重大變革，研究人員證實了在極其有限的預算下訓練大規模擴散模型的可行性。這一發展標誌著AI模型訓練的民主化，使其對小型組織和個人研究者更加accessible。


這幅影像展示了 AI 的創造潛力，描繪了宇航員以各種藝術風格騎馬的場景，象徵著微型預算 AI 模型的無限可能性

社群對這種新方法的成本影響進行了深入討論。雖然1,890美元的訓練成本相比傳統成本有顯著降低，但關於這些微預算模型的真實可及性仍存在深入討論。訓練需要使用8個 H100 GPU，這代表著相當大的硬體投資。不過，雲計算選項使這一方案更加可行：

「你可以在單個GPU上完成訓練，但需要使用梯度累積，在消費級GPU上訓練時間可能需要1-2個月。」

這一見解表明，進一步的民主化是可能的，儘管需要更長的訓練時間。

雲計算成本（參考評論中提到的）：

儘管受經濟限制，該模型仍取得了令人印象深刻的結果，僅使用3,700萬張影像訓練了一個11.6億引數的稀疏transformer模型。社群討論強調，雖然硬體要求看似substantial，但與現有方法相比，這種方法顯著優化了資源使用，在 COCO 資料集上實現了12.7的零樣本生成 FID 分數。

訓練規格：

討論揭示了一個新興趨勢，一些社群成員將其描述為無限創意微型AI模型的浪潮。隨著訓練成本可能降低到高階遊戲PC投資的水平（包括硬體在內約5,000美元），我們正在見證由個人從業者和小型團隊開發的專業化、窄用例AI模型新生態系統的潛在崛起。

圍繞分佈外生成的概念出現了一個有趣的技術爭論，社群成員指出，傳統的宇航員騎馬基準測試可能並不像之前認為的那樣具有分佈外特性。這突顯了在評估模型能力時謹慎選擇基準任務的重要性。

微預算訓練方法的發展代表著AI模型開發民主化的重要一步，可能促進該領域小型參與者掀起新一波創新浪潮。雖然仍存在一些硬體障礙，但訓練成本的大幅降低表明我們正在進入AI模型開發可及性的新時代。