SuperCLUE-V是中文多模態大模型領域的核心測評基準，專注於評估模型在多模態理解（圖生文）能力方面的綜合表現。該基準通過構建包含基礎能力與套用能力的二維評估體系，下設8個一級維度、30個二級測評任務，採用自動化定量評分與專家覆核結合的評估機制。截至2024年8月首期榜單發布，已累計評估國內外12個主流模型，騰訊混元大模型以71.95分位列國內榜首，其套用能力維度展現出中文語境深度理解優勢。
2024年10月榜單顯示，商湯科技SenseChat-Vision 5.5模型在圖表推理等任務中表現優異，以73.56分進入國內第一梯隊。基準通過定期發布的動態榜單（如月度、專項榜單），持續追蹤模型在細粒度視覺認知、數理邏輯分析等維度的技術演進，並為行業提供模型象限分析等深度洞察。
基本介紹
- 所屬領域：人工智慧測評
- 首次發布時間：2024年5月16日
- 評估維度：8大方向30任務
- 最新榜單時間：2025年5月29日
- 參評模型：12個（首期）
- 評測機構：CLUE委員會
評估體系架構,核心測評結果,技術演進追蹤,行業影響驗證,
評估體系架構
構建包含基礎能力與套用能力兩大方向的測評框架，其中基礎能力權重占比50%，下設細粒度視覺認知、數理邏輯分析等4個一級維度；套用能力側重中文場景適配度，涵蓋文化知識解析、多輪互動等維度。每個維度細分為3-5個二級任務，例如在視覺認知維度設定像素級識別、跨模態關聯等測評點。
評估採用開放式問題形式，要求模型在接收圖像輸入後生成自然語言描述，評分標準包含理解準確性（40%）、回應相關性（30%）和推理深度（30%）三部分。所有測評結果需通過自動化評分算法與三名專家獨立覆核的雙重驗證流程，人工校驗合格率達92%以上。
核心測評結果
2024年8月首期榜單中，參評的12個模型包含4個開源模型與8個閉源模型。GPT-4o以74.36分位列總榜第一，其細粒度視覺認知得分突出。國內模型騰訊混元（71.95分）與InternVL2-40B進入70+分梯隊，其中騰訊混元在套用能力維度得分率達75.3%，展現中文語境下的場景推理優勢。
2024年10月榜單擴展至11個模型，商湯SenseChat-Vision 5.5模型在數理邏輯維度以82.4分超越GPT-4o（79.6分）。測評同時發現國內模型在基礎認知維度較海外頂尖模型存在5.2分的平均分差，主要體現在跨模態語義關聯任務中。
技術演進追蹤
基準通過專項榜單持續完善評估維度，2025年5月發布的「視覺推理」中文榜單新增前後分差分析，最大分差達30分，突顯模型在動態場景理解能力上的差異。2024年12月啟動的多模態/文生圖模型徵集，將視頻生成能力納入評估體系，形成覆蓋圖像、文本、視頻的全模態測評框架。
針對中文特有場景的最佳化成效顯著，2025年2月測評方案升級後，國內模型在文化元素解析任務中的平均得分提升14.6%。測評數據顯示，2024年8月至2025年5月期間，參評模型在細粒度視覺認知維度的平均進步幅度達22.4%。
行業影響驗證
作為獨立第三方測評基準，其發布的動態榜單已成為行業技術發展風向標。2024年5月24日"琅琊榜"評選通過12000次開發者投票驗證模型排名，與基準測評結果吻合度達89%。2025年5月報告顯示，83%的參評企業將SuperCLUE-V測評結果納入技術疊代評估體系。
通過模型象限分析工具，將參評模型劃分為技術領跑者（基礎與套用雙高）、實用主義者（套用能力突出）等四個類別，為企業制定發展戰略提供可視化參考。2024年8月榜單數據顯示，技術領跑者象限的模型研發投入強度是實用主義者象限的3.2倍。
