NaVid

NaVid是由北京智源研究院於2024年6月發布的端到端多模態具身導航大模型。該模型可直接接收機器人視角的視頻和用戶自然語言指令作為輸入，並輸出移動控制信號。與傳統導航技術相比，NaVid無須預先建圖，也不依賴深度感測器或里程計數據，僅通過單視角RGB視頻流實現導航。基於合成導航數據與Sim2Real技術，NaVid能在真實室內外場景中完成zero-shot泛化。截至2024年8月，NaVid已作為關鍵技術套用於銀河通用的蓋博特人形機器人，實現自然語言互動與智慧型導航。

基本介紹

• 發布時間：2024年6月     
• 研發機構：智源研究院     
• 技術類型：多模態具身導航    
• 套用場景：室內外真機導航    
• 數據訓練：合成導航數據    
• 相關技術：Sim2Real方式    

技術特點

• 輸入輸出模式：NaVid將機器人攝像頭採集的單視角RGB視頻流與用戶自然語言指令作為輸入，直接端到端生成移動控制信號。
• 與傳統技術差異：無需依賴深度信息、里程計感測器或預先構建環境地圖，顯著降低硬體配置門檻。
• 訓練機制：僅使用合成導航數據進行訓練，通過Sim2Real技術遷移至真實場景，實現跨環境zero-shot泛化。

發布與研發歷程

• 2024年6月：智源研究院在第六屆北京智源大會上首次發布NaVid模型。
• 2024年6月：智源研究院發布全球首個端到端基於視頻的多模態具身導航大模型NaVid。

套用與關聯技術

• 人形機器人領域：截至2024年8月，NaVid作為核心導航模組套用於銀河通用機器人的蓋博特機器人，推動其實現基於語言指令的動態避障與路徑規劃。
• 技術挑戰：當前視覺語言導航數據模態與大模型常見模態存在差異，且高質量導航數據集稀缺，制約具身智慧型全面落地套用。