ManiAgent是Dexmal 原力靈機作者團隊提出的多智慧型體協作系統。ManiAgent放棄了通過海量數據“餵養”一個巨大黑盒模型的路徑，轉而採用 Agentic（智慧型體化） 的思路。ManiAgent 作者團隊利用LLM 強大的通用推理能力，設計了一個 Training-free 框架，通過多個智慧型體對特定工具的調用，直接將自然語言指令轉化為機器人動作。
基本介紹
- 外文名：ManiAgent
- 創造團隊：Dexmal 原力靈機作者團隊
系統簡介,方法框架,場景感知,推理與規劃 ,實驗結果,
系統簡介
ManiAgent放棄了通過海量數據“餵養”一個巨大黑盒模型的路徑，轉而採用 Agentic（智慧型體化） 的思路——與其讓一個模型同時負責“看、想、做”，不如將任務層層分解。ManiAgent 作者團隊利用現有 LLM 強大的通用推理能力，設計了一個 Training-free 框架，通過多個智慧型體對特定工具的調用，直接將自然語言指令轉化為機器人動作；這種設計不僅規避了高昂的數據採集成本，還保留了 LLM 在處理複雜邏輯和常識推理上的原始優勢。
方法框架
ManiAgent 核心邏輯在於模擬人類解決複雜物理任務時的認知過程：感知環境 -> 拆解任務 -> 規劃細節 -> 執行動作。為實現這一過程，作者團隊構建了一個“感知-推理-控制”的閉環 Pipeline，通過內部通信機制，讓智慧型體各司其職；這一架構設計有兩個本質上的突破：
- 降維打擊複雜場景：通過把長序列任務拆解為一個個原子級的子任務，系統把一個複雜的操控問題“降維”成了多個簡單的執行問題。
- 無需特定任務微調：實現更通用的操控。它不需要針對特定任務進行微調，而是依靠各個智慧型體的通用能力組合來應對未知任務。
ManiAgent 設計了精密的內部通信機制，讓四個智慧型體緊密配合；不僅在 SimplerEnv 上實現 86.8% 的高成功率，更證明了在缺乏大規模機器人數據的情況下，利用現有的通用大模型（GPT-4o、GPT-5、Claude-3.5 等）的推理能力，可以驅動機器人完成高難度的物理任務。
場景感知
該智慧型體接收 RGB 圖片和任務指令，利用視覺語言模型（VLM）生成文本化的場景描述。
- 關鍵技術：為保證描述精度，作者團隊通過最佳化 Prompt 來平衡召回率與相關性。首先確保場景中所有與任務相關的物體都被提及（高召回），然後過濾掉無關的背景噪音（高相關）。
- 深度感知：對於 VLM 無法精準定位的物體，智慧型體會調用檢測模型結合相機標定參數，將像素坐標轉化為 3D 空間坐標，為後續步驟提供物理錨點。
推理與規劃
該智慧型體接收場景描述，利用 LLM 的物理常識和邏輯推理能力，將宏大的任務目標拆解為可執行的子任務。
- 增量式拆解：它不是一次性把所有步驟規劃完，而是根據當前狀態一步步生成下一個子任務，避免了長序列規劃中常見的累積誤差。
- 記憶機制：為防止機器人陷入死循環，該智慧型體擁有記憶功能，存儲歷史子任務以指導當前決策。
實驗結果
ManiAgent 的實際表現支持了“Agentic 優於 End-to-End”的論點。
在標準的 SimplerEnv 基準測試中，ManiAgent 表現出色。相較於 Pi0 (55.7%) 和 CogACT (51.3%)，搭載 GPT-5 的 ManiAgent 取得了 86.8% 的平均成功率。即使是稍微弱一些的 GPT-4o 版本，成功率也達到 74.3%，依然大幅領先於傳統的 VLA 模型。這直接證明了將高層推理與底層控制解耦的有效性。
在真實世界的測試中，作者團隊設計了 8 個涵蓋不同難度的任務，包括模糊指令推理（“我想寫東西” -> “把桌子上的筆放到人手上”）、相對位置感知（“把中間的辣椒放盤子裡”）以及長序列規劃。
- 成功率：使用 Claude-4-Sonnet 或 Grok-4 作為基座模型時，真機任務的平均成功率高達 95.8%。
- 複雜推理：在“擺放餐具”的任務中，模型甚至需要利用常識知識庫，遵循“左叉右刀”的西餐禮儀來擺放物體。這種包含文化常識的物理操作，是目前單純依賴模仿學習的 VLA 模型難以企及的。
- 對比 ReKep：在與基於關鍵點的 ReKep 框架對比中，ManiAgent 在長序列和複雜場景下表現出明顯優勢。比如在複雜的桌面整理任務中，ReKep 成功率僅為 0%，ManiAgent 達到 100%。
ManiAgent 最大的貢獻可能不僅僅是一個高性能的操控框架，而是一個高效的自動化數據工廠。作者團隊展示了一個令人興奮的閉環邏輯：
- 自動生成數據：利用 ManiAgent 在真機上的高成功率，結合隨機生成或基於規則的目標坐標，機器人可以日以繼夜地自動執行任務並收集數據。在“胡蘿蔔放盤子”的測試中，系統自動運行了 19.5 小時，收集了 551 條軌跡，僅需每 46 分鐘進行一次人工干預。
- 反哺 VLA 模型：更關鍵的是，作者團隊用 ManiAgent 自動生成的數據訓練了一個小型的 CogACT 模型。結果顯示，用這些“機器生成數據”訓練出的 VLA 模型，其效果與通過人類手動採集數據訓練的模型相當。
這意味著數據飛輪成為可能。既然 ManiAgent 不需要訓練就能跑通（雖然推理慢一點），那就可以讓它先當“老師”，不知疲倦地生成海量的高質量軌跡數據；然後用這些數據去餵養更輕量、更快速的端到端 VLA 模型。這樣既解決了 VLA 的數據饑渴，又解決了 Agentic 方案推理延遲高、部署成本高的問題。結論
在本文中，作者團隊提出 ManiAgent，這是一個將通用操作任務分解為四個階段的框架，通過使用專門的智慧型體分別負責感知、推理和控制來完成機器人操作。實驗結果表明，ManiAgent 在仿真環境中表現優於大多數 VLA 模型，實現了 86.8% 的成功率；且在搭載高性能 VLM 時，在真實世界任務中達到了 95.8% 的平均成功率。
此外，ManiAgent 在通用操縱任務中的高成功率使其成為一種有效的自動數據收集工具，能夠以較低的成本生成用於 VLA 訓練的高質量數據集。未來的工作將集中在增強實時反饋、將套用擴展到機械臂以外的多種平台，以及探索人機互動方面。
