發展歷程
2026年4月2日,智譜發布多模態Coding基座模型GLM-5V-Turbo。
該模型具備處理文本、圖片、視頻等多模態信息的能力,並可套用於編程、規劃與操作等任務。
主要功能
該模型是多模態Coding基座模型,能夠處理文本、圖片、視頻等多模態信息,並進行編程、長程規劃、操作執行等任務。原生理解圖片、視頻、設計稿、文檔版面等多模態輸入,並支持畫框、截圖、讀網頁等多模態工具調用,上下文視窗擴展至200k。
這款模型不僅能寫代碼,更擁有了“看懂”世界的能力,旨在將 AI Agent 的感知鏈路從枯燥的字元延伸到豐富的設計稿與網頁界面中。
技術特點
GLM-5V-Turbo是智譜於2026年4月2日發布的一個原生多模態Coding基座模型。該模型整合了視覺與編程能力,能夠處理文本、圖片、視頻等多模態信息,並執行編程、長程規劃等任務。該模型的套用使OpenClaw龍蝦能夠處理視覺信息。該模型支持API調用。在多項基準測試中,其表現優於
Claude Opus 4.6。GLM-5V-Turbo在模型架構、訓練方法、數據構造、工具鏈四個層面進行了升級,包括採用原生多模態融合、30+ 任務協同強化學習、為Agent能力設計的數據集,以及將工具鏈從純文本升級為支持視覺與操作。在模型架構層面,採用了新一代視覺編碼器和多模態處理結構,提升了多模態場景下的推理效率。在訓練方法層面,通過多模態融合和任務協同強化學習等技術,確保視覺能力引入後編程與推理能力保持穩定。
在多模態和純文本編程的相關基準測試中,GLM-5V-Turbo展現了較強的能力,例如在多模態任務和圖形用戶界面操控任務上展現了能力,同時在純文本編程基準上保持了性能。
套用場景
GLM-5V-Turbo支持視覺編程,能夠根據草圖、設計稿或網站截圖生成前端工程。傳送草圖、設計稿或參考網站的截圖,模型能理解布局、配色、組件層級與互動邏輯,生成可運行的前端工程。該模型可以解讀複雜圖表,如K線走勢、估值區間圖和券商研報圖表,並生成圖文並茂的分析報告。
GLM-5V-Turbo在視覺編程中套用於前端工程生成,如根據草圖創建音樂播放器界面;此外,結合
Claude Code等框架,該模型能憑藉其GUI Agent能力探索目標網站,瀏覽頁面結構、梳理跳轉關係、採集視覺素材與互動細節,最後生成代碼復現整個站點。在文檔處理中能拆解經濟學論文結構;在金融分析中可解讀股票圖表。該模型支持通過對話增刪頁面模組、修改文案與樣式、調整布局結構,並可補充互動功能,實現可視化疊代編輯。
在
AutoClaw中,GLM-5V-Turbo集成股票分析師Skill,用於自動化報告生成和PPT製作。例如,在智譜自研的智慧型體AutoClaw中接入該模型後,Agent具備了視覺能力,能解讀K線走勢圖、估值區間圖和券商研報圖表,實現多路數據並行採集,並輸出圖文並茂的分析報告。AutoClaw上線了“股票分析師”Skill利用此能力。
行業影響
GLM-5V-Turbo的發布推動大模型編程從純文本向多模態發展。多模態編程能力被認為是
AI智慧型體走向實用化的關鍵一環。該模型將AI的理解力從語法邏輯擴展到美學與感知邏輯,為全自動編程輔助的發展提供了基礎。
GLM-5V-Turbo在多模態編程、智慧型體等核心基準上均以更小尺寸取得了較好表現,同時保持了純文本編程與推理能力。通過深度適配特定編程與開發場景,該模型為AI智慧型體增加了視覺能力,拓寬了任務邊界,例如瀏覽網頁、解讀圖表、生成圖文報告等。該模型已提供開放接口,便於部署使用。