在快速發展的企業搜尋和知識管理領域，Onyx（前身為 Danswer）已成為一個值得關注的解決方案，在技術使用者中引起了廣泛討論。該平臺結合了開源生成式人工智慧和企業搜尋功能，使組織能夠將其內部文件、應用程式和人員連線到統一的知識系統中。
Onyx 的特別之處不僅在於其功能集，還在於支援其搜尋能力的技術架構，這已成為社群討論的焦點。
 |
|---|
| Onyx 的 GitHub 倉庫，展示其程式碼庫和開發結構 |
混合索引方法
Onyx 有效性的核心是其混合文件索引系統，該系統結合了關鍵詞頻率和向量嵌入。與依賴單個應用程式原生搜尋能力的解決方案不同，Onyx 在所有連線的來源中構建了一個全面的文件索引。這種方法解決了企業搜尋中的幾個關鍵挑戰，包括團隊特定術語、自然語言查詢和非精確匹配。
「文件索引是關鍵詞頻率和向量的混合索引。關鍵片語件解決了團隊特定術語等問題，而向量元件則允許自然語言查詢和非精確匹配。」
這種架構允許 Onyx 在查詢時間之前處理文件，建立適合 LLM 的表示，從而實現快速推理。該系統還結合了其他訊號，如文件的新近性，應用基於時間的權重來優先考慮所有來源中更新的資訊。
深度研究與傳統 RAG 的區別
許多社群成員質疑 Onyx 的深度研究能力與標準檢索增強生成（RAG）系統有何不同。區別在於代理如何與底層搜尋基礎設施互動。雖然 RAG 作為基礎工具，但 Onyx 的深度研究代理可以執行多次搜尋，反思先前的結果，並生成思維鏈輸出，以更全面地探索資訊。
該代理可以決定哪些問題需要進一步探索，類似於人類研究人員在調查複雜主題時可能會追蹤不同的查詢線索。與單一查詢 RAG 實現相比，這創造了一個更加動態和全面的研究過程。
許可權管理
企業知識系統的一個重大挑戰是處理不同應用程式中複雜的許可權模型。Onyx 透過將外部物件及其關聯的使用者/組對映到平臺內的統一表示來解決這一問題。
系統執行非同步作業，以可配置的時間間隔檢查許可權更新，預設設定針對每種外部源型別進行了調整。這種方法在啟用跨應用程式搜尋的同時保持安全性，始終預設使用最嚴格的訪問模型，以防止未經授權的資訊洩露。
效能和評估
在使用典型企業內容（Slack 訊息、技術文件等）組成的資料集進行的內部評估中，Onyx 報告了令人印象深刻的結果。在一個包含 10,000 個文件的測試集中，該系統在 4,000 個標記處實現了超過 94% 的召回率，即使在擴充套件到數十萬個文件並新增噪聲的情況下，仍保持超過 90% 的召回率。
該平臺主要是針對 GPT-4o 開發的，但已經調整為能夠有效地與其他最新模型一起工作，包括 Claude 3.5、Gemini 和 Deepseek。
Onyx 的主要特點
- 混合文件索引（關鍵詞頻率 + 向量）
- 40多種聯結器，包括 Google Drive、Confluence、Slack、Gmail、Salesforce
- 超越標準 RAG 的深度研究代理能力
- 跨不同應用程式的許可權對映
- 部署選項：本地、本地部署或雲端
- 兩個版本：社群版（MIT許可證）和企業版
效能指標
- 在10K文件測試集上，4K令牌的召回率達到94%
- 在數十萬文件的情況下，仍保持90%以上的召回率
- 相容多種 LLM 後端（GPT-4o、Claude 3.5、Gemini、Deepseek）
路線圖專案
- 新的資訊檢索方法（StructRAG、LightGraphRAG）
- 個性化搜尋
- 組織理解和專家推薦
- 程式碼搜尋
- SQL和結構化查詢語言支援
未來方向
展望未來，Onyx 正在探索幾種先進的資訊檢索方法，包括受 LightGraphRAG 等方法啟發的定製 LLM 知識圖譜。其他計劃中的功能包括個性化搜尋、具有專家建議能力的組織理解、程式碼搜尋和結構化查詢語言支援。
對於尋求改善其數字生態系統中知識發現和利用的組織來說，Onyx 代表了一個有趣的開源選擇，可以在本地、內部或雲端部署。社群版在 MIT Expat 許可下免費提供，而針對大型組織的企業版則提供額外功能。
隨著 AI 驅動的企業搜尋不斷發展，Onyx 將深度研究能力與統一文件索引相結合的方法展示瞭如何有效地彌合不同資訊源之間的差距，可能減少知識工作者查詢和綜合資訊所需的時間和精力。