最近 BrowserAI 的推出在開發者社群引發了關於其在瀏覽器端AI領域定位的討論。雖然它最初將自己定位為在瀏覽器中執行本地大語言模型（LLM）的解決方案，但社群對話揭示了其當前的侷限性和未來潛力。
當前實現和框架依賴
BrowserAI 目前主要作為 WebLLM 和 Transformers.js 的封裝工具執行，但做出了一些顯著的修改。開發團隊透過分叉並將 Transformers.js 程式碼轉換為 TypeScript，改善了框架相容性，解決了此前影響 Next.js 等框架的構建問題。這一技術決策反映了對開發者體驗和更廣泛框架支援的重視。
計劃功能和開發方向
專案團隊已經規劃了幾個雄心勃勃的開發功能，特別強調檢索增強生成（RAG）和可觀察性整合。然而，社群成員注意到目前缺少關鍵元件，如實現RAG功能所需的 BERT 系列編碼器。開發人員已確認了這一限制，並表示計劃根據需要新增編碼器。
「當我看到標題時，我以為這個專案是一個能自動使用當前頁面作為上下文的LLM瀏覽器外掛（或類似的東西）。但是，在檢視 GitHub 專案後，它似乎是一個用於本地LLM的瀏覽器介面。」
實際應用和社群興趣
儘管處於早期階段，社群已經為 BrowserAI 識別出幾個實際應用場景，包括自動化cookie通知管理和增強的瀏覽器自動糾錯/自動完成擴充套件。該專案專注於瀏覽器原生AI處理的特點，吸引了尋求實現無伺服器依賴的隱私保護AI解決方案的開發者的興趣。
當前支援的模型：
-
MLC 模型：
- LLama-3.2-1b-Instruct
- SmolLM2-135M-Instruct
- SmolLM2-360M-Instruct
- Qwen-0.5B-Instruct
- Gemma-2B-IT
- TinyLLama-1.1b-Chat-v0.4
- Phi-3.5-mini-Instruct
- Qwen2.5-1.5B-Instruct
-
Transformers 模型：
- LLama-3.2-1b-Instruct
- Whisper-tiny-en
- SpeechT5-TTS
技術性能考慮
開發人員報告稱，雖然 WebLLM 的模型壓縮和記憶體使用令人印象深刻，但他們遇到了量化模型偶爾產生不一致輸出的情況。這一觀察促使他們持續進行實驗，以最佳化瀏覽器環境中的模型效能和可靠性。
該專案代表了使AI在瀏覽器環境中更易訪問的持續努力，儘管其最終價值主張仍在透過社群反饋和持續開發努力來定義。