研發背景
具身智慧型在邁向現實套用時,面臨複雜、結構化環境帶來的巨大挑戰,其性能在長時程、跨樓層任務中顯著下降,直接暴露了空間推理、長期規劃、記憶能力等核心短板。因此,行業迫切需要構建大規模、真實、可互動的“數字試驗場”來訓練和評估智慧型體。
為應對此挑戰,由智元、清華大學、麥吉爾大學聯合研發了MANSION框架,旨在構建一個語言驅動的大規模多樓層3D場景生成平台,為具身智慧型研究提供關鍵的“數字試驗場”。
發展歷程
MANSION框架由智元牽頭,聯合清華大學、麥吉爾大學合作研發。團隊創新推出MANSION混合框架,融合多模態大模型與幾何求解器,實現從自然語言指令到完整多樓層3D建築的端到端生成。MANSION從建築全局邏輯出發,先規劃整棟樓功能分區、垂直交通與整體風格,再逐層生成拓撲結構與房間布局。
基於MANSION框架,團隊發布了MansionWorld數據集,包含1000+棟多樓層建築、2-10層、10000+房間,覆蓋住宅、辦公、醫院、學校、商超等全場景。團隊升級了AI2-THOR模擬器,集成樓梯、電梯等資產,並推出高級原子技能API,封裝跨場景切換與狀態管理能力。該研究成果成功入選計算機視覺頂級會議CVPR 2026。
核心技術
MANSION是一個融合多模態大模型與幾何求解器的混合框架,旨在實現從自然語言指令到完整多樓層3D建築的端到端生成。
區別於簡單的房間拼接,該框架從建築全局邏輯出發,首先生成整棟樓的功能分區、垂直交通與整體風格規劃,隨後再逐層生成拓撲結構與房間布局。
通過幾何求解生成符合物理約束的平面圖,並最終生成可直接在仿真器運行的互動式3D場景,框架從源頭保證了樓梯、電梯、跨層結構的對齊合理,使生成的建築連貫可用。生成的場景支持導出至Blender、NVIDIA Isaac Sim等平台。
運營模式
MANSION框架是一個開放研究平台,其運營目標是為全球研究者提供標準化的樓宇級測試環境,以支持具身智慧型研究。
在具體運營中,團隊發布了MansionWorld數據集。該數據集包含超過1000棟多樓層建築和超過10000個房間,覆蓋住宅、辦公、醫院、學校、商場等場景,並支持導出至
Blender、NVIDIA Isaac Sim等平台。同時,團隊升級了AI2-THOR模擬器,集成了樓梯、電梯等元素,並提供了用於封裝跨場景切換與狀態管理功能的高級原子技能API,以實現樓層間的移動。此外,團隊提出的任務語義場景編輯智慧型體能夠快速調整場景環境,實現同一棟建築的多用途使用,從而有助於提升場景的復用率與研究效率。
通過提供數據集及配套工具與平台支持,MANSION框架旨在為下一代具身智慧型的研究發展提供支持。
核心團隊
重要事件
2026年,由智元牽頭,聯合清華大學、麥吉爾大學完成的研究成果MANSION入選CVPR 2026。CVPR是計算機視覺領域的國際學術會議,該成果提出了一種面向整棟建築的語言驅動多樓層3D場景生成框架。