發展歷程
2025年10月16日,“AI教母”李飛飛宣布對外推出全新模型RTFM(AReal-TimeFrame Model,實時幀模型)。RTFM是一款全新的實時生成世界模型,能夠與用戶互動時實時生成視頻,並遵循三大核心設計原則:效率、可擴展性、持久性。
World Labs指出,RTFM展示了在現有硬體上部署高效世界模型的願景,其技術核心是將世界模型定義為端到端、數據驅動的渲染器。該框架具備良好的擴展性,未來可模擬動態世界並支持用戶互動。當前模型目標是在單張H100GPU上實時運行,而更大規模的模型將持續最佳化性能。
2025年11月13日,AI教母、
史丹福大學教授
李飛飛的創業公司World Labs宣布推出首款商用
世界模型Marble。Marble支持大規模多模態,可以從文本、圖像、視頻或粗略的3D布局中創建3D世界;該模型能夠將一句話、一張圖片、360全景、一段視頻或3D模型轉換成可互動探索的三維世界場景,並允許用戶互動式地編輯、擴展和組合生成的世界。
2025年12月5日,創始人
李飛飛在
史丹福大學發表公開演講,闡述AI技術討論應避免極端化,強調需要更平衡的宣傳。
李飛飛在其公開論述中強調,儘管
大語言模型革新了抽象知識的套用方式,但AI仍需突破對物理世界的理解,
空間智慧型將成為關鍵發展方向,這將徹底改變人類與現實及虛擬世界的互動方式。
2025年12月13日,創始人
李飛飛在訪談中深度解讀
空間智慧型作為通往
AGI的關鍵技術,並指出World Labs正在構建下一代空間智慧型,其核心技術模型Marble能夠根據用戶輸入的文本或上傳的圖像素材生成可互動的3D數字世界,套用於機器人訓練模擬環境和精神病學研究等領域。
2026年1月5日,在美國拉斯維加斯舉行的
國際消費電子展(
CES 2026)上,World Labs聯合創始人兼CEO李飛飛作為合作夥伴之一,出席了
AMD執行長
蘇姿豐的主題演講。World Labs宣布與AMD展開合作,旨在最佳化其生成式3D模型Marble在AMD硬體上的性能。
技術理念
空間智慧型理論體系
基於
李飛飛提出的空間智慧型理論,World Labs認為僅通過文本訓練無法實現
通用人工智慧。該體系強調AI必須獲得深度感知空間能力,構建看、做、想像的閉環系統,以模仿人類通過視覺、觸覺、重力感知等非語言方式與世界互動的學習範式。李飛飛的創業公司World Labs專注於空間智慧型。World Labs的核心技術模型Marble,能夠根據用戶輸入的文本或上傳的圖像素材,生成一個可供拖動和探索的3D數字世界。一方面,Marble可以作為機器人訓練的模擬環境,生成海量且多樣化的訓練數據;另一方面,Marble還能套用於精神病學研究,以極低成本改變環境維度,幫助研究人員對患有強迫症等心理障礙的人群進行觸發因素和治療方法的研究。
表征方法融合
公司的技術架構採用顯式3D表征與隱式表征的混合體系。顯式表征通過Marble產品可視化輸出,隱式表征由RTFM模型內部處理。這種設計既服務於遊戲開發、建築設計等需要可視化輸出的行業需求,又為未來融合物理法則理解的通用世界模型奠定基礎。
李飛飛強調兩種表征終將融合,但當前顯式表徵選擇是出於賦能人類創作者的戰略考量。
技術演進方向
根據2025年公布的技術藍圖,實時幀模型將推動生成內容從二維視頻向三維持久空間演進。未來五年可能突破Transformer架構,發展支持因果推理的新模型架構。通過神經空間引擎實現
生成式AI與傳統物理引擎的融合,創建可互動的數字平行宇宙。
與楊立昆學派在隱式表征上的差異主要體現在:World Labs通過刻意設計的顯式輸出滿足產業需求,同時保持模型內部隱式表征的靈活性,形成需求驅動型技術路徑與理論驅動型技術路徑的互補格局。創始人
李飛飛在2025年12月
史丹福大學講座中強調,AI的討論應避免將威脅論與烏托邦論極端化。
研發成果
2024年12月2日,World Labs宣布其人工智慧系統在“
空間智慧型”領域取得進展,該系統能夠從單張圖像生成三維世界,允許用戶以三維方式探索圖像內容。生成的3D世界具有互動性,用戶可自由移動視角進行探索,並支持淺景深、
希區柯克變焦等操作。該系統的底層支撐技術RTFM通過動態平衡顯式3D表征輸出與隱式世界模型學習,在傳統視頻生成模型的基礎上,於推理階段實現了三維結構的保持。
2025年11月13日,World Labs推出核心產品Marble及其技術底座
RTFM(Real-Time Frame Model)。該模型能夠根據用戶輸入的文本或上傳的圖像素材生成一個可供拖動和探索的3D數字世界。該模型結合了隱式表征與顯式表征系統,可在單張H100 GPU上生成具有幾何一致性和時間持久性的3D空間,支持文本、圖像、視頻、3D布局等多模態輸入,其
物體恆常性(Object Permanence)特性確保在視角切換時物體狀態保持穩定。該技術路徑與
楊立昆的純隱式表征路徑有所不同。Marble可作為機器人訓練的模擬環境生成數據,並套用於精神病學研究以改變環境維度。
2026年1月,在
CES 2026上,World Labs宣布與
AMD展開合作,旨在最佳化其生成式3D模型Marble在AMD硬體上的性能。
李飛飛在演示中表示,Marble模型在AMD Instinct MI325X等平台上運行,並藉助AMD ROCm軟體棧實現了性能提升。
公司業務
該公司的目標客戶包括視頻遊戲開發商和電影製片廠。除了互動場景之外,World Labs還計畫開發一些對藝術家、設計師、開發人員、電影製作人和工程師等專業人士有用的工具。2025年11月13日推出首款商用世界模型Marble,支持從文本、圖像、視頻或3D布局中創建可互動探索的三維世界場景,允許用戶編輯、擴展和組合生成內容。核心框架
RTFM通過端到端數據驅動渲染,實現在單張H100 GPU上的高效3D空間推理。
李飛飛強調其商業目標聚焦遊戲開發、視覺特效和建築設計領域,致力於輸出可視化、可互動的3D成果以賦能創作者。
此外,Marble模型還被探索套用於機器人訓練的模擬環境,作為進入現實世界前的“飛行模擬器”,以及在精神病學研究中進行
暴露療法,以低成本改變環境維度,幫助研究
強迫症等心理障礙的觸發因素和治療方法。
所獲榮譽
2025年4月,入選2025福布斯AI 50榜單,融資金額達2.92億美元。