Apple 釋出了 CA-1M，這是一個用於室內 3D 物體檢測的綜合資料集，同時還發布了 Cubify Transformer (CuTR)，這是一個設計用於在室內空間中檢測物體並在其周圍放置 3D 邊界框的模型。雖然這項技術在 AR/VR 應用方面顯示出前景，但社群反應既有對其功能的興奮，也有對其許可限制的擔憂。
CA-1M 資料集與 Cubify Transformer 概述
- 資料集: CA-1M - 經過詳盡標註的類別無關3D邊界框
- 模型: Cubify Transformer (CuTR) - 提供RGB-D和僅RGB兩種變體
- 許可結構:
- 示例程式碼: Apple 示例程式碼許可
- 資料集: CC-by-NC-ND
- 模型: Apple ML 研究模型使用條款
主要特點:
- 每幀3D邊界框真實標註
- 真實姿態已與雷射掃描器對齊
- 512 x 384解析度的真實深度資料
- 直立方向的幀
- 透過 NeRF Capture 應用支援在使用者裝置上執行捕獲
 |
|---|
| 一個內部空間，可以從先進的3D物體檢測技術中受益，用於家居設計和AR應用 |
複雜的許可結構引起混淆
該專案的許可方式引發了開發者之間的廣泛討論。Apple 實施了多層許可結構：示例程式碼使用 Apple Sample Code License，資料集使用 CC-by-NC-ND，模型使用 Apple ML Research Model Terms of Use。這種分散的方法受到了開發者社群的批評。
「他們透過在一個專案中使用 3-4 種不同的（子）許可證使事情過於複雜...為什麼要讓它如此混亂和複雜？對第三方開發者來說，用它來製作應用並在他們的平臺上釋出是如此無用。」
資料集的 Attribution-NonCommercial-NoDerivatives 許可證特別具有限制性，限制了潛在的商業應用。一些評論者指出，這種許可複雜性可能會阻礙該技術的更廣泛採用和實驗。
技術性能引發質疑
社群對 Cubify Transformer 技術性能的反饋褒貶不一。一些使用者指出邊界框檢測存在準確性問題，特別是對於牆上的圖片和天花板橫樑等物體。一位評論者指出，該模型在應該使用[旋轉立方體]時常常不使用，導致邊界過度擴張，這表明系統有時在正確對齊物體方面存在困難。
有趣的是，一些開發者聲稱他們看到在 iPad 上執行的私有神經網路僅使用 RGB 資料而不使用深度資訊時表現更好。這引發了人們對基於 transformer 的方法是否適合這種特定計算機視覺任務的質疑。
家居設計的實際應用
儘管存在技術和許可方面的擔憂，許多使用者仍看到了這項技術的寶貴潛在應用。討論的最引人注目的用例之一是家居設計和傢俱佈置。使用者表示有興趣使用手機攝像頭和 LiDAR 掃描他們的家，建立可以虛擬重新排列傢俱的 3D 模型。
像 Scaniverse 這樣的當前解決方案可以建立完整的網格，但不能分離單個物體，這使得虛擬重新排列變得困難。Cubify 的物體檢測方法可能透過識別空間內的離散物體來解決這個問題。
與網路技術的整合
社群已經在探索將這項技術與網路平臺擴充套件和整合的方法。幾位評論者分享了在 Three.js（一個流行的 JavaScript 3D 庫）中渲染 USDZ 掃描的資源，展示了圍繞 3D 掃描技術發展的更廣泛生態系統。
檢視器和渲染工具的可用性表明，開發者正在積極努力使 3D 物體檢測和視覺化在不同平臺上更加易於訪問。
未來與 Apple 平臺的整合
一些評論者推測了與 Apple 平臺，特別是 Vision Pro 的潛在整合。一位使用者表示驚訝，這項技術尚未成為 CoreML（Apple 的機器學習框架）的一部分，而另一位使用者則表示它可能會在即將到來的 WWDC 開發者大會上宣佈。
鑑於 Apple 對增強現實體驗的日益關注，Cubify Transformer 可能代表了 Apple 裝置上未來 AR 應用的重要構建塊，有可能實現更復雜的環境理解和物體互動。
總之，雖然 Apple 的 CA-1M 資料集和 Cubify Transformer 技術在推進 3D 物體檢測方面顯示出前景，但限制性許可和褒貶不一的效能評價突顯了可能限制其採用的挑戰。儘管如此，該技術代表了向更復雜的 AR/VR 應用環境理解邁出的重要一步，對家居設計、遊戲和混合現實體驗具有潛在影響。