RoboMIND數據集

RoboMIND是由國家地方共建具身智慧型機器人創新中心與北京大學計算機學院於2024年12月27日聯合推出的大規模多構型智慧型機器人數據集和Benchmark。該數據集包含5.5萬條機器人軌跡數據，涉及279項不同任務，涵蓋61種物體，覆蓋家居、廚房、工廠等多種生活服務場景，旨在通過捕捉機器人在複雜環境中的互動經驗，促進通用操作模型的訓練。

2026年1月4日，RoboMIND2.0版本發布。該版本數據規模擴展至31萬條軌跡，並新增了觸覺增強序列與移動操作軌跡，覆蓋了6種主流機器人本體。

創建背景與發布

RoboMIND數據集由國家地方共建具身智慧型機器人創新中心與北京大學計算機學院聯合創建，於2024年12月27日正式發布，其全稱為“大規模多構型智慧型機器人數據集和Benchmark——RoboMIND”。該數據集的創建旨在通過捕捉機器人在複雜環境和長程任務中的互動與經驗，促進能夠掌握不同操作策略的通用模型的訓練。數據集包含5萬5千條機器人軌跡數據，涉及279項不同的任務，涵蓋了61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務場景，數據採集使用了單臂機器人、雙臂機器人、人形機器人等多種構型。2026年1月4日，該團隊發布了重大升級版本RoboMIND2.0，新版本數據規模擴展至31萬條軌跡，超過1000小時，並新增了觸覺增強序列、移動操作軌跡，覆蓋了6種主流機器人本體。

數據規模與構成

RoboMIND的初始版本（即RoboMIND 1.0）包含5.5萬條機器人軌跡數據。這些數據涉及279項不同的任務，涵蓋了61種不同的物體。機器人構型包含單臂機器人、雙臂機器人和人形機器人，具體包括31,005條Franka Emika Panda單臂機器人軌跡、6,911條UR-5e單臂機器人軌跡、8,030條AgileX Cobot Magic V2.0雙臂機器人軌跡和9,686條“天工”人形機器人軌跡。

2026年1月4日，研究團隊發布了重大升級版本RoboMIND2.0。該版本數據規模大幅擴展至31萬條軌跡，總計超過1,000小時的數據。在構成上，RoboMIND2.0新增了1.2萬條觸覺增強序列和2萬條移動操作軌跡，並覆蓋了Tienkung、Tianyi、AgileX、Franka、UR、Ark等6種主流機器人本體。數據結構採用了統一的HDF5格式，包含元數據、相機模型、力/觸覺模型及觀測數據等。

數據集特徵

RoboMIND2.0數據規模擴展至31萬條軌跡，總計超過1,000小時的數據，並覆蓋6種主流機器人本體，包括Tienkung、Tianyi、AgileX、Franka、UR、Ark。

RoboMIND2.0引入了觸覺增強序列（1.2萬條）和移動操作軌跡（2萬條），並採用了統一的HDF5數據結構，包含元數據、相機模型、力模型、觸覺模型、主控數據、從控數據、相機觀測、力觀測和觸覺觀測等。

RoboMIND數據集包含多樣化構型，數據來源於多種機器人平台，並涵蓋了61種不同的物品類別，覆蓋家居、廚房、工廠、辦公、零售等場景。例如，在廚房場景中，數據集包括了草莓、雞蛋等常見食物，以及烤箱、麵包機等複雜的可調節物體；在家庭場景中，包括了網球等剛性物體和玩具等可變形物體；辦公和工業場景則包括了電池和齒輪等需要精確控制的小物體。

數據收集與管理

RoboMIND的數據通過自研的遙作業系統進行收集，使數據更自然、連貫和平滑，能夠更好地模擬人類的行為和認知過程。研究團隊開發了一個採用雲原生架構和分散式計算的智慧型數據平台，提供數據收集、數據存儲、數據管理、數據處理與分析四大功能模組。數據質檢通過輪換系統和提供舒適環境的方式幫助操作員保持專注，並對所有數據進行質量檢查以確保可靠性，質量保證過程分為初步檢查、詳細檢查、數據過濾和問題記錄三個步驟。

截至2026年1月，RoboMIND已升級至2.0版本。RoboMIND2.0數據規模擴展至31萬條軌跡，總計超過1000小時。新增了1.2萬條觸覺增強序列和2萬條移動操作軌跡。數據集覆蓋了包括Tienkung、Tianyi、AgileX、Franka、UR、Ark在內的6種主流機器人本體。數據採用統一的HDF5數據結構，包含元數據、相機模型、力模型、觸覺模型、主控數據、從控數據、相機觀測、力觀測和觸覺觀測等。

實驗驗證與效果

為評估RoboMIND數據集的質量，研究團隊在主流機器人學習模型上進行了廣泛的評測，測試了ACT、BAKU、RDT-1B和OpenVLA四種模型。

在單任務實驗中，研究團隊選取了45個代表性任務，ACT算法在不同機器人構型上的平均成功率分別為：AgileX雙臂機器人（55.3%）、Franka單臂機器人（30.7%）、UR-5e單臂機器人（38.0%）和“天工”人形機器人（34.0%），驗證了數據集提供的視覺感知與機器人關節信息的準確性。

在多任務實驗中，RDT-1B模型在多項任務中表現優異，例如“將蘋果放入藍色盤子”任務成功率高達80%；OpenVLA模型展示了良好的任務適應能力，經數據集微調後平均成功率提升10%~30%。

該評測得到了北京智源人工智慧研究院的大力支持。

版本疊代

RoboMIND初始版本於2024年12月27日發布，包含5.5萬條機器人軌跡數據。

RoboMIND2.0版本於2026年1月4日發布，數據規模擴展至31萬條軌跡，總計超過1000小時。該版本新增了1.2萬條觸覺增強序列和2萬條移動操作軌跡，覆蓋了Tienkung、Tianyi、AgileX、Franka、UR、Ark六種主流機器人本體。RoboMIND2.0採用了統一的HDF5數據結構，整合了元數據、觀測數據和控制數據。