Video-MME

Video-MME是世界上首個多模態大語言模型視頻分析綜合評估基準，由中科大、廈大等多所高校的研究者於2024年6月聯合推出。該基準旨在全面評估模型對視頻內容的理解能力，其數據集包含900個視頻與2700個人工標註的問答對，覆蓋知識、影視等6大領域及不同時長視頻。2025年，Video-MME論文被CVPR會議錄用，並成為GPT、Gemini等主流模型廣泛採用的視頻理解評測標準。南京大學傅朝友團隊發布了升級版基準Video-MME-v2，引入了三層能力體系與組級非線性評分方法。

發展歷程

2024年6月，Video-MME初版作為一個多模態大語言模型視頻分析綜合評估基準發布。該基準由來自中國科學技術大學、廈門大學、香港大學、北京大學、香港中文大學、華東師範大學等高校的研究者聯合推出。

初版發布後，Video-MME被Gemini、GPT等主流模型採納用於視頻理解評測。其相關論文在CVPR 2025所有錄用論文中被Paper Digest統計為具有較高影響力。

2026年4月，南京大學傅朝友團隊牽頭，在Google Gemini評測團隊的邀約下，正式推出Video-MME-v2版本。Video-MME-v2是一個面向下一代視頻理解能力的評測基準。

Video-MME-v2歷經近一年時間準備，由12名標註人員和50位獨立審核人員共同完成，投入超過3300人工時進行數據標註與審核。

設計特點

Video-MME初版在時間維度上覆蓋了從11秒到1小時的視頻，包括短視頻（小於2分鐘）、中視頻（4至15分鐘）和長視頻（30至60分鐘）。其視頻類型跨越知識、影視、體育比賽、生活記錄和多語言等6個主要視覺領域，共包含30個子領域。該基準整合了視頻幀、字幕和音頻等多模態輸入，且所有數據均為全新人工收集與標註。

Video-MME-v2的核心設計創新在於構建了逐層遞進的三層能力體系，包括信息檢索與聚合、時序理解以及複雜推理。評測方法上，Video-MME-v2引入了組級評測並採用了非線性評分機制，具體包括激勵計分與首錯截斷方法。

數據集構成

Video-MME數據集包含兩個主要版本：Video-MME初版和Video-MME-v2。Video-MME初版包含900個視頻，總時長256小時，並人工標註了2700個高質量問答對，採用多項選擇題格式，每個視頻對應3個問題。Video-MME-v2包含800個視頻，總計3200個問題。

數據集的構建過程包括視頻採集、問答對標註、質量審核三個步驟。視頻採集時，研究人員創建了一個領域層次結構，覆蓋6個主要視覺領域並細分為30個子領域。視頻在時長上覆蓋了短視頻（少於2分鐘）、中視頻（4-15分鐘）和長視頻（30-60分鐘）。

問答標註由專業人員進行，每個視頻生成3個問題，每個問題有4個選項，總計2700個問答對，涵蓋了感知、推理、信息概要等12種任務類型。質量審核過程嚴格，包括指派不同的標註者進行交叉檢查，以及基於Gemini 1.5 Pro模型提供純文本問題並過濾掉可以僅根據文本回答的問答對。Video-MME-v2的標註工作由12名標註人員和50位獨立審核人員共同完成，經過5輪交叉審核與閉環修訂，累計投入超過3300人工時。

數據集整合了視頻幀、字幕和音頻三種模態輸入。所有數據均為新收集和人工標註，而非來自現有數據集。字幕文本量隨視頻長度顯著增加。正確答案選項（A/B/C/D）的分布接近均勻，確保了評估的無偏性。數據集還定義了“有效時長”（Certificate Length），即準確回答問題所需的最短視頻時長。