RoboMamba是由智平方科技與北京大學在2024年6月聯合推出的端到端視覺-語言-動作（VLA）具身大模型，專為機器人場景最佳化設計，旨在實現高效的推理與操作能力。該模型創新性地將視覺編碼器與高效的Mamba狀態空間語言模型集成，構建了多模態狀態空間模型。
這一成果以論文形式發表於人工智慧頂級會議NeurIPS 2024。RoboMamba的發表時間比Physical Intelligence團隊的OpenVLA更早，並在多項未見任務的泛化測試中，其性能超越了當時SOTA的Google RT系列模型。
基本介紹
- 外文名：RoboMamba
- 上市時間：2024年6月
發展歷程,主要成就,榮譽獎項,相關作品,
發展歷程
RoboMamba是由智平方科技（AIRobotics）與北京大學聯合開發的一款端到端視覺-語言-動作（VLA）具身大模型，專為機器人場景最佳化設計，於2024年6月正式推出。相關研究成果以論文《RoboMamba: Multimodal State Space Model for Efficient Robot Reasoning and Manipulation》的形式入選人工智慧頂級會議NeurIPS 2024。該模型將視覺編碼器與基於Mamba架構的狀態空間模型（SSM）集成。通過微調策略，調整0.1%的模型參數（約3.7M），可在20分鐘內掌握新的操作技能。在性能上，其在多項“未見任務”的泛化測試中表現優於Google RT系列模型，同時其發布時間早於Physical Intelligence（Pi）團隊的OpenVLA。該工作的第一作者為北京大學博士生劉家銘，指導老師為北京大學計算機學院研究員、博雅青年學者仉尚航，研發工作由北京大學HMI Lab完成，該實驗室依託北京大學視頻與視覺技術國家工程研究中心和多媒體信息處理全國重點實驗室。RoboMamba的研發是智平方與北京大學合作的一部分，為此後雙方成立“北大—智平方具身智慧型聯合實驗室”提供了技術基礎。
主要成就
RoboMamba是由智平方科技與北京大學合作開發的高效端到端視覺-語言-動作（VLA）大模型。該模型在多項性能基準測試中取得突破，其相關論文入選人工智慧頂級會議NeurIPS 2024，成為中國具身智慧型公司在VLA領域的首次國際亮相。
在多項“未見任務”（Unseen Task）的泛化測試中，RoboMamba的性能超越了當時SOTA的Google RT系列模型，泛化任務成功率領先達80%以上。其發表時間早於Physical Intelligence（Pi）團隊的同類模型OpenVLA。
在通用多模態大模型（MLLM）基準測試（如VQA， MMBench）上，參數量為2.8B的RoboMamba取得了與7B參數模型可競爭的性能。在機器人專用基準測試（RoboVQA）上，RoboMamba展現出卓越的推理能力（BLEU-1到BLEU-4指標優異），推理速度比現有模型快7倍。在機器人操縱能力評估（SAPIEN模擬器）中，與基線模型相比，RoboMamba在可見類別上實現了7.0%的改進，在不可見類別上實現了2.0%的改進。
通過引入僅占模型總參數0.1%的簡單策略頭（Policy Head）進行高效微調，僅需20分鐘即可使模型掌握新的操作技能，大幅降低了適應新任務的成本。
榮譽獎項
2024年6月，RoboMamba的相關研究論文《RoboMamba: Multimodal State Space Model for Efficient Robot Reasoning and Manipulation》入選人工智慧學術會議NeurIPS 2024。該論文的入選，使得相關研究在國際會議上被展示。
相關作品
RoboMamba發布後，被後續多項研究比較，例如一篇論文將其列為評估的基線模型之一。項目第一作者劉家銘博士圍繞RoboMamba及VLA模型構建經驗，在多個學術會議上作主題報告，例如在2025年的GenAICon具身智慧型大模型技術研討會上進行了分享。RoboMamba項目已在GitHub上開源，代碼倉庫持續維護，最近一次提交記錄為2024年12月22日。在實際套用層面，RoboMamba展示了其在減少由模型“幻覺”導致的失敗行動方面的潛力，能夠通過實時錯誤糾正來調整任務執行，並在不可預測環境中優先考慮安全協定，適用於外科手術機器人等高風險場景。
該模型入選了人工智慧會議NeurIPS 2024。
