Gemini Robotics

Gemini Robotics 是谷歌DeepMind於2025年3月12日發布的視覺語言行動模型（VLA），基於Gemini 2.0架構開發。該模型通過整合多模態理解能力與物理動作輸出模組，形成“感知-認知-行動”閉環系統，實現在動態環境中執行摺紙、物體抓取、餐盒打包等複雜任務。其核心突破包括跨場景泛化能力提升超100%、支持自然語言指令互動、適配Franka機械臂及人形機器人等多種硬體形態。模型內置分層安全機制，已與Apptronik、Boston Dynamics等企業合作推進商業化落地。

2025年6月，谷歌 DeepMind 發布訊息稱，推出全新的 Gemini Robotics On-Device 本地化機器人 AI 模型。這一模型採用視覺-語言-動作（VLA）架構，可在無雲端支持的情況下實現對實體機器人的控制。

基本介紹

• 開發者：谷歌DeepMind 
• 技術架構：基於Gemini 2.0架構 
• 核心能力：物理動作輸出、多模態互動、場景泛化 
• 發布時間：2025年3月12日 
• 適配硬體：Franka機械臂、Apollo人形機器人 
• 安全機制：分層控制系統、倫理約束層

技術架構

• 基於Gemini 2.0架構構建，新增物理動作輸出模態，形成視覺-語言-行動閉環系統。通過多模態神經網路的端到端訓練，實現文本、圖像、視頻輸入與機械控制信號的直接映射。
• 使用ALOHA 2雙臂平台的訓練數據，兼容不同形態機器人硬體的控制接口。在動態物體定位測試中，模型對透明容器等複雜場景的識別準確率達92%。

核心功能

跨場景任務執行

• 支持家庭、辦公和工業場景的無縫切換，可完成餐盒打包、精細物品抓取等34類基礎任務。在未訓練情境下（如筆盒位置偏移場景），自主任務完成率達81%。
• 具備持續環境監測能力，可在物體滑落或移動時0.3秒內完成動作重規劃。例如移動透明碗放置水果的操作中，空間定位誤差小於1.5毫米。

自然語言互動

• 依託Gemini 2.0語言模組，支持多語言指令理解與反饋生成。能解析“桌面扣籃”等抽象指令，通過視覺輸入建立籃網外觀與動作參數的關聯關係。
• 在互動測試中，模型對複合指令（如“擦拭桌面後整理餐具”）的分步驟執行準確率達89%。

安全與倫理

• 採用三級安全控制架構：
• 低級控制層: 實時碰撞檢測與避讓算法，通過分層安全控制器保障執行安全性
• 高級決策層: 通過分層控制系統保障執行安全性，在代碼生成失效時支持人類演示學習
• 倫理約束層: 繼承“機器人憲法”框架，限制涉及尖銳器具的操作許可權

當代碼生成失效時，系統自動切換至人類演示學習模式，確保任務中斷後的安全恢復。

產業套用

• 截至2025年3月，已與Apptronik合作開發Apollo人形機器人的智慧型控制系統，並與Agile Robots聯合測試物流分揀場景套用。
• 在醫療領域，開發者社區基於該模型實現了手術器械分類、耗材分裝等案例，器械識別準確率超過95%。

版本演進

• Gemini Robotics-ER（增強推理版）：專注三維空間理解能力，對咖啡杯等陌生物體的抓取軌跡規劃成功率提升至91%。在動態障礙物規避測試中，路徑規劃效率較基礎版提高2.3倍。
• 實驗室測試數據顯示，該系列模型在綜合泛化基準測試中的性能較同類VLA模型平均提升127%。

2025年6月，谷歌 DeepMind 發布訊息稱，推出全新的 Gemini Robotics On-Device 本地化機器人 AI 模型。這一模型採用視覺-語言-動作（VLA）架構，可在無雲端支持的情況下實現對實體機器人的控制。