Apple Silicon 嶄露頭角成為執行本地大語言模型的節能強者
MLX 框架日益受到關注 MLX,Apple 專為 Apple Silicon 設計的機器學習框架,儘管只有一年多的歷史,但在開發者社群中已經穩步獲得關注。...M3 Ultra 131,247 200W 總系統 能效比較 在比較 Apple Silicon 和 NVIDIA GPU 的能效時,社群討論表明,就每瓦效能而言,Apple...效能指標顯示出潛力 來自社群成員的效能報告凸顯了 Apple Silicon 在執行 LLM 方面的效率。...在 NVIDIA GPU 主導 AI 工作負載的格局中,Apple Silicon 晶片正在開闢一個作為節能替代方案的利基市場,用於本地執行大型語言模型。...與 NumPy 和 PyTorch 類似,但專為 Apple Silicon 設計,MLX 為在 Mac 裝置上本地執行各種 AI 模型提供了基礎。...隨著開發者探索 MLX(Apple 為其定製矽最佳化的機器學習框架)的功能,使用者報告了令人印象深刻的效能指標,凸顯了這些系統在 AI 應用方面的潛力。...社群成員指出,圍繞 MLX 的生態系統活動令人印象深刻,像 mlx 這樣的工具正在成為專為 Apple 架構構建的 llama.cpp 等效工具。...雖然在軟體依賴和開發工作流程方面仍然存在挑戰,但 Apple Silicon 正在成為 AI 愛好者和專業人士的一個引人注目的平臺,他們希望以合理的效能和出色的能效在本地運行復雜的模型。...Apple Silicon 效能指標 模型 裝置 電源模式 效能 DeepSeek...4 MacBook Pro M4 Max 接通電源 10.2 tok/sec DeepSeek...NVIDIA GeForce RTX 5090 376,224 400 GPU 250 系統 Apple...一位使用者在 MacBook Pro M4 Max 上執行 4 位量化的 DeepSeek 模型時,報告稱在插電狀態下實現了每秒 10.2 個詞元,而在電池供電模式下達到每秒