Brush:一款通用的高斯散射引擎讓3D重建變得更加便捷

BigGo Editorial Team
Brush:一款通用的高斯散射引擎讓3D重建變得更加便捷

3D重建領域正在經歷重大變革,越來越多便捷的工具不斷湧現。社群討論顯示,人們對高斯散射技術的興趣日益增長,特別是其在不同平臺和裝置上實現3D重建大眾化的潛力。

展示了 Brush 專案背後的技術細節和職責,突顯其在3D重建方面的能力
展示了 Brush 專案背後的技術細節和職責,突顯其在3D重建方面的能力

打破技術壁壘

新型高斯散射引擎 Brush 因其通用相容性和出色效能而備受關注。使用者反饋顯示,其瀏覽器演示版本執行流暢,能夠以最小延遲處理50MB的 .ply 檔案,並生成無閃爍和瑕疵的高質量渲染效果。

當前技術要求

網頁使用者需要:

  • Chrome 129+(桌面版)
  • Linux使用者需啟用 WebGPU 標誌
  • Linux額外啟動引數:--enable-features=Vulkan
  • Firefox 和 Safari 支援待定

兩步處理流程

當前工作流程包含兩個主要步驟:

  1. 相機姿態生成

    • 需要 COLMAP 或類似 GLOMAP 等替代工具
    • 處理時間:約30分鐘
    • 被認為是工作流程中的主要瓶頸
  2. 高斯散射訓練

    • 輸入影像和相機姿態資料
    • 生成與輸入照片匹配的3D模型
    • 比姿態生成步驟快得多

效能和質量

與原始高斯散射實現的基準比較顯示具有競爭力的結果:

場景 Brush GS Paper
Bicycle@7K 23.2 23.604
Garden@7k 25.8 26.245
Stump@7k 24.9 25.709

實際應用

社群成員強調了幾個潛在用例:

  • 房地產虛擬參觀
  • 增強街景體驗
  • VR內容創作
  • 影片製作中的特效
  • 機器人系統和SLAM應用(目前對自動駕駛車輛來說仍然太慢)

未來發展

開發團隊認識到幾個需要改進的領域:

  • 致力於消除對 COLMAP 的依賴
  • 探索與 ARCore/ARKit 的整合以實現移動裝置初始化
  • 最佳化訓練效能
  • 研究網格支援以提高可編輯性

可訪問性特徵

一個顯著優勢是其能在各種硬體配置上執行:

  • 可在配備普通GPU的筆記型電腦上執行
  • 支援 macOS/Windows/Linux
  • 相容 AMD/NVIDIA 顯示卡
  • 支援 Android(需要額外設定)
  • 基於瀏覽器執行
  • 潛在的 iOS 支援(目前未實現)

該專案代表著讓3D重建技術更易於普及的重要一步,儘管仍有一些技術障礙需要解決。