VLAW框架

VLAW框架是一個框架,由清華陳建宇團隊與斯坦福Chelsea Finn團隊基於其前期合作成果Ctrl-World聯合提出。該框架首次實現了視覺-語言-動作(VLA)策略與動作條件世界模型的協同疊代最佳化,使兩者形成互相促進的閉環。

其核心工作流程是:利用VLA策略在真實世界收集的互動數據校準世界模型,再使用校準後的世界模型生成合成數據來最佳化VLA策略。研究團隊在DROID機器人平台上針對堆疊積木等五類複雜任務進行了測試,每輪疊代收集250條真實軌跡用於世界模型校準,最終支撐機器人策略成功率獲得提升。未來的研究將圍繞世界模型的規模化和泛化性展開。

研發背景,核心技術,重要事件,核心團隊,

研發背景

VLAW框架由清華大學陳建宇團隊(星動紀元創始人)與史丹福大學Chelsea Finn團隊(PI創始人)聯合提出,基於雙方首個合作成果Ctrl-World的再度攜手研發,旨在實現VLA策略與動作條件世界模型的協同疊代最佳化,構建兩者互相促進的閉環系統。

核心技術

VLAW框架的核心技術在於首次實現了視覺-語言-動作(VLA)策略與動作條件世界模型的協同疊代最佳化,使兩者形成一個互相促進的閉環。其核心解法是利用VLA策略在真實世界互動中收集的數據來校準世界模型,提升其物理預測的保真度,再利用校準後的世界模型生成高質量的虛擬數據,反過來最佳化和強化VLA策略本身。
VLAW的工作流程包括在真實世界中執行策略以收集少量線上互動軌跡,例如每類任務50條真實軌跡。利用這些策略rollout數據微調預訓練的動作條件世界模型(如Ctrl-World),使世界模型適配目標任務並提升其預測保真度。在校準後的世界模型中,通過策略與世界模型的閉環互動生成大規模合成軌跡,例如每個任務生成500條合成軌跡。結合真實軌跡與虛擬軌跡,並藉助視覺-語言獎勵模型(如Qwen-VL)自動評估獎勵,最佳化VLA策略。
該框架在DROID機器人平台上針對堆疊積木、打開書本、擦除白板標記、舀取顆粒、畫圓五類複雜任務進行驗證,顯著提升了策略的成功率。

重要事件

清華陳建宇團隊和斯坦福Chelsea Finn團隊基於Ctrl-World,聯合提出了VLAW框架,首次實現了VLA策略與動作條件世界模型的協同疊代最佳化。
研究團隊在DROID機器人平台上針對堆疊積木、打開書本、擦除白板標記、舀取顆粒、畫圓五類複雜任務進行實測,使用當前SOTA的π0.5作為基礎策略和Ctrl-World作為基礎世界模型,每輪疊代在5類任務上共收集250條真實軌跡用於世界模型的校準。經VLAW框架最佳化後,機器人策略在五類任務上的成功率實現大幅提升,並能針對真實世界的失敗案例在虛擬空間中找到成功路徑。

核心團隊

VLAW框架由清華大學陳建宇團隊與史丹福大學Chelsea Finn團隊聯合研發。
兩個團隊基於其首個合作成果Ctrl-World,再度攜手提出了VLAW框架。

相關詞條

熱門詞條

聯絡我們