UrbanVLM是酷哇科技於2025年8月發布的專為城市運行打造的多模態視覺語言模型。該模型旨在通過視覺與語言模型的結合,最佳化城市複雜場景下的自動駕駛決策能力,並具備對交通、環衛、市政等城市全要素的深度理解。
UrbanVLM採用“雲端大模型+端側小模型”的協同架構。雲端部署UrbanVLM Large,擁有320億參數,負責全局任務編排與深度分析。端側部署UrbanVLM Tiny,擁有30億參數,負責百毫秒級的高維理解及策略約束。模型主要處理城市服務中的複雜長尾場景,承擔巨觀規劃與因果約束的職責,為直覺系統提供“語義圍欄”。
基本介紹
- 外文名:UrbanVLM
- 產品類型:多模態視覺語言模型
- 上市時間:2025年8月
研發背景,發展歷程,核心技術,運營模式,重要事件,
研發背景
2025年8月,酷哇科技發布UrbanVLM模型,旨在通過視覺與語言模型的結合,進一步最佳化城市複雜場景下的自動駕駛決策能力。該模型的研發基於酷哇全系自動駕駛與機器人產品構建的全域全覆蓋數據閉環,以及覆蓋城市場景全域的數據收集體系。模型旨在解決城市服務中低頻但邏輯複雜的長尾場景,如理解交警手勢、判斷倒塌樹木的優先權。在此背景下,UrbanVLM承擔巨觀規劃與因果約束的職責,它不直接輸出控制信號,而是為直覺系統提供更高層的“語義圍欄”。
發展歷程
2025年8月,酷哇科技發布UrbanVLM(Urban Vision-Language Model)模型。該模型旨在通過視覺與語言模型的結合,進一步最佳化城市複雜場景下的自動駕駛決策能力。基於多款城市服務機器人與自動駕駛產品的規模化套用,酷哇構建了覆蓋城市場景全域的數據收集體系,並以此研發了專為城市運行與服務設計的UrbanVLM多模態視覺語言模型。
核心技術
UrbanVLM是一個套用於城市運行場景的多模態視覺語言模型。它主要針對城市服務中低頻但邏輯複雜的長尾場景,例如理解交警手勢、判斷倒塌樹木的處理優先權,承擔巨觀規劃與因果約束的職責。該模型不直接輸出控制信號,而是為直覺系統提供更高層的語義約束。
UrbanVLM採用“雲端大模型+端側小模型”的協同架構,以適應不同場景對算力與時效的需求。雲端模型擁有320億參數,部署於雲端算力平台,負責全局任務編排。它能處理複雜的自然語言指令,並將其拆解為可執行的原子任務序列。同時,可對機器人回傳的作業視頻進行實時分析、長時序推理與關鍵事件研判,為城市微觀治理提供決策參考。端側模型擁有30億參數,部署在機器人邊緣側,負責百毫秒級的高維理解及策略約束。例如,通過語義分析識別出前方障礙物為“正在玩耍的兒童”,並據此約束底層策略,進行避讓或停止工作。
UrbanVLM基於特定的數據與工具鏈基礎。其數據來源於對交通、物業、市政等城市要素的感知和理解。其工具鏈涵蓋了數據採集、處理、標註、存儲、分散式訓練及閉環仿真等環節。這套基礎設施支持模型的疊代,並有助於將相關能力套用於實際場景。
運營模式
酷哇採用了“雲端大模型+端側小模型”的協同架構,以滿足不同場景的算力與時效需求。雲端部署的UrbanVLM Large擁有320億參數規模,可對機器人回傳的實時視頻流進行分析。端側部署的UrbanVLM Tiny擁有30億參數規模,負責高維理解及策略約束。基於UrbanVLM Large的分析能力,酷哇的城市服務雲平台能夠對城市運行要素進行結構化理解,並輸出行動建議,實現持續感知、推演與調度。
重要事件
2025年8月,酷哇科技發布UrbanVLM(Urban Vision-Language Model)模型,旨在通過視覺與語言模型的結合,進一步最佳化城市複雜場景下的自動駕駛決策能力。
酷哇科技發布WAM 2.0世界模型,其中引入自研的UrbanVLM作為System 2(巨觀約束部分),承擔巨觀規劃與因果約束的職責,為直覺系統提供更高層的“語義圍欄”。
