Ego-Exo4D是由Meta的FAIR團隊、Project Aria聯合15所大學合作夥伴於2023年12月推出的一個開源的多模態多視角視頻數據集和基準套件。
該數據集由839位志願者在全球13個城市收集，捕捉了1422小時的技能人類活動視頻，涵蓋身體動作和程式性任務等熟練活動。Ego-Exo4D同步採集了第一人稱與第三人稱視角的視頻，並包含七通道音頻、IMU等多元數據，可用於支持AI模型理解人類行為的相關研究。該數據集支持跨場景的專業技能模仿與研究日常生活活動的多模態機器感知。基於該數據集，CVPR 2025提出了15項新的基準挑戰。相關研究已將其套用於自適應視頻分詞器InfoTok等模型中。在跨視角視覺理解研究中，使用Ego-Exo4D數據訓練的ObjectRelator模型也進行了驗證。
基本介紹
- 外文名：Ego-Exo4D
- 最近更新時間：2023年12月1日
核心功能,技術特點,發展歷程,數據規模與內容,研究與套用,
核心功能
多模態視頻數據集：提供第一人稱和第三人稱同步視頻數據
跨視角行為理解：支持人類活動識別與動作預測
三維環境建模：包含RGB-D攝像和三維點雲數據
多感測器融合：集成眼動追蹤、IMU等生物特徵數據
技能遷移學習：支持跨場景的專業技能模仿。
技術特點
Ego-Exo4D是一個多模態多視角視頻數據集和基準挑戰，由839位佩戴攝像頭的志願者在全球13個城市收集，捕捉了1422小時的技能人類活動視頻。它同步採集了第一人稱與第三人稱視角的視頻，自我中心的視角揭示了參與者的視聽感知，而外部中心的視角則揭示了周圍的場景和上下文。
Ego-Exo4D捕獲了多視角和多種感知模態，包括多個視角、七個麥克風陣列、兩個IMUs、一個氣壓計和一個磁強計。該數據集提供了專家評論、參與者提供的教程樣式的敘述和一句話的原子動作描述等三種自然語言數據集，配對視頻使用。數據集記錄時嚴格遵守隱私和倫理政策，並獲得參與者的正式同意。它支持研究日常生活活動的多模態機器感知。
發展歷程
2023年12月，為慶祝Meta的基礎人工智慧研究（FAIR）團隊成立10周年，Meta推出了Ego-Exo4D、無縫溝通和Audiobox三個研究項目。Ego-Exo4D由Meta的FAIR團隊、Project Aria以及15所大學合作夥伴歷時兩年共同構建，旨在通過融合第一人稱（自我中心）和第三人稱（外部中心）視角的視頻數據，為AI理解複雜人類技能提供新視窗。同月，Meta開源了包含超過1400小時視頻的Ego-Exo4D數據集，並宣布計畫在次年舉行公開基準競賽。
2024年，在CVPR 2024會議上，基於Ego-Exo4D數據集舉辦了“Ego4D and EgoExo4D Challenge”系列基準挑戰賽，圍繞理解第一人稱視覺體驗設定了多項任務，例如社互動動（Looking At Me）和手部姿態估計（Hand Pose）等賽道。
2025年，CVPR 2025會議繼續舉辦了基於Ego-Exo4D數據集的挑戰賽，任務擴展至身體姿態估計、手部姿態估計以及演示者熟練度估計等多個維度。
數據規模與內容
Ego-Exo4D數據集由839位佩戴攝像頭的志願者在全球13個城市收集，共捕捉了1422小時的技能人類活動視頻。該數據集記錄了131種不同的自然場景下的活動，涵蓋身體動作和程式性任務等多種技能類型。數據同步採集了佩戴Project Aria頭戴式設備的“自我中心”視角和周圍攝像機的“外部中心”視角，每個活動樣本包含一個第一人稱視角視頻和最多四個同步的第三人稱視角視頻。
除了視頻，數據集還捕獲了多種感知模態，包括七個麥克風陣列、兩個IMU、一個氣壓計和一個磁強計。數據集提供了專家評論、參與者提供的教程式敘述和一句話的原子動作描述等三種自然語言注釋與視頻配對使用。數據記錄嚴格遵守隱私和倫理政策，所有參與者均簽署了正式的知情同意書。
研究與套用
該數據集已成為計算機視覺領域的重要基準，推動了多項學術挑戰賽。例如，在CVPR 2024的Ego4D and EgoExo4D Challenge中，聯想研究院團隊在社互動動(Looking At Me)和手部姿態估計(Hand Pose)賽道獲得冠軍，上海交通大學團隊在身體姿態估計賽道獲得第三名。在CVPR 2025的EgoExo4D挑戰賽中，聯想研究院團隊在手部姿態估計、身體姿態估計和演示者熟練度估計競賽中斬獲三項冠軍。
在視頻理解與生成的前沿研究中，EgoExo4D數據集作為重要的第一人稱視角基準被廣泛採用。例如，在ICLR 2026接收為Oral報告的論文《InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression》中，研究團隊使用EgoExo4D數據集驗證了其提出的自適應視頻分詞器InfoTok。
此外，該數據集也被用於技能評估等高級理解任務。例如，博爾扎諾自由大學的研究團隊提出的SkillFormer利用該數據集進行技能水平評估研究，在結合多視角信息後準確率從46.3%提升至47.5%。在跨視角視覺理解方面，使用Ego-Exo4D數據訓練的ObjectRelator模型在零樣本測試中表現優異，性能遠超在傳統數據集上訓練的模型。
