Matrix3D是由蘋果機器學習團隊聯合南京大學與香港科技大學於2025年5月推出的3D人工智慧模型，可通過三張2D照片實現物體及場景的三維數位化重建。該模型採用統一架構整合圖像、相機參數與深度數據進行處理，有效簡化傳統三維重建流程並提升準確性。
模型基於攝影測量技術開發，創新性地引入掩碼學習策略，通過遮蔽部分輸入數據強化模型適應性，使其在數據不完整時仍能有效訓練。蘋果公司已將該模型開源，其成果在China3DV2025青年學者論壇中被南京大學研究者以《Matrix3D: Large Photogrammetry Model All-in-One》為題進行學術報告。該技術為Apple Vision Pro等沉浸式頭顯設備的三維內容生成提供了解決方案。
基本介紹
發展歷史,產品設計,核心技術,主要功能,
發展歷史
2025年5月，蘋果機器學習團隊攜手南京大學和香港科技大學推出3D AI模型Matrix3D。
該模型的相關研究論文《Matrix3D: Large Photogrammetry Model All-in-One》於2025年2月12日在arXiv上發布。在China3DV2025青年學者論壇上，南京大學研究者姚遙以同一題目進行了學術報告。此外，研究人員在GitHub上提供了Matrix3D的原始碼，實現了開源。
產品設計
Matrix3D被設計為一個統一的“All-in-One”大型攝影測量模型，旨在用一個模型解決多個攝影測量子任務，包括姿態估計、深度預測和新視圖合成。其核心設計理念是將圖像、相機參數和深度數據整合到一個統一的多模態擴散變換器架構中進行處理。
這種設計減少了傳統分段式方法的中間環節和誤差積累，使得重建過程更加流暢、可靠。在訓練方法上，Matrix3D引入了掩碼學習策略，通過隨機隱藏部分輸入數據來增強模型在數據不完整情況下的適應性和泛化能力。這種整合性設計簡化了3D重建的工作流程，提高了處理效率和結果的可靠性，並為沉浸式技術套用提供了潛力。
核心技術
Matrix3D採用統一架構，基於多模態擴散變換器（DiT）整合圖像、相機參數和深度圖等多種輸入模態。
模型能夠執行姿態估計、深度預測和新視圖合成等多個攝影測量子任務。
訓練採用掩碼學習策略，通過隨機隱藏部分輸入數據以增強模型在數據不完整時的適應性和泛化能力。
Matrix3D在姿態估計和新視圖合成任務中展示了先進的性能，並通過多輪互動提供細粒度的控制。
主要功能
Matrix3D專注於從少數2D照片中重建真實世界的物體和場景。用戶只需提供幾張圖像，模型就能自動生成高質量的3D輸出。
