MME-Survey是一篇關於多模態大語言模型評估的全面綜述論文。該論文由Chaoyou Fu等人撰寫，作者來自MME、MMBench和LLaVA團隊，於2024年作為預印本發布。
該綜述系統梳理了多模態大語言模型的評估，從能力覆蓋、評測方式到指標設計對現有基準進行了全面分析。論文討論了評估基準的類型、構建過程、系統評估方法以及未來基準的展望，旨在為研究者提供評估指導。
創作背景,內容概要,作者團隊,作品影響,發布與收錄,
創作背景
多模態大語言模型作為通用人工智慧的一個重要方向，受到了產業界和學術界的廣泛關注。這類模型在預訓練大語言模型的基礎上，進一步發展出了多模態感知與推理能力。在模型的發展過程中，評估至關重要，因為它能提供直觀的反饋和改進指導。與傳統僅適用於單一任務的訓練-評估-測試範式不同，多模態大語言模型的通用性催生了各種新的基準和評估方法。為系統梳理該領域，由MME、MMBench和LLaVA團隊聯合發布了此綜述MME-Survey。
內容概要
該綜述論文圍繞四個關鍵方面對多模態大語言模型的評估進行了全面梳理：評估能力分類，將現有基準分為基礎能力評估、模型行為（自分析）評估和擴展套用評估；基準構建過程，包括數據收集、問答對標註等典型方法，並討論了數據污染、基準多樣性、樣本量等相關挑戰；系統評估方法，介紹了三種評估方式（基於人類、基於LLM/MLLM、基於腳本）、兩種主要評估指標以及四種評估工具包；未來展望，從明確的能力分類、能力導向評估、任務導向評估、融入更多模態等角度探討下一代基準的方向。
作者團隊
該綜述的項目負責人為傅朝友（Chaoyou Fu）。作者團隊主要來自三個知名的多模態模型與評測團隊，即MME團隊（包含MME, Video-MME, MME-RealWorld等項目）、MMBench團隊（包含MMBench, MMBench-Video,OpenCompass, VLMEvalKit等項目）和LLaVA團隊（包含LLaVA-NeXT, LLaVA-OneVision, LMMs-Eval等項目）。
主要作者包括傅朝友、張一凡、尹書康、李博、方新宇、趙思睿、段浩東、孫興、劉子威、王亮、單彩鳳和何冉等人。
作品影響
MME-Survey作為一篇全面、系統的綜述，對多模態大語言模型評估領域進行了梳理，為該領域的研究者提供了清晰的指引，並推動了領域的發展。
該綜述從能力覆蓋、評測方式到指標設計，對現有評測基準進行了全面、系統的梳理和分析。
該綜述已被Video-MME等後續研究作為該領域重要的綜述性文獻。
該綜述旨在幫助研究者根據不同需求有效評估多模態大語言模型，並啟發更好的評估方法，從而推動多模態大語言模型研究的進展。
發布與收錄
該論文《MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs》於2024年11月26日在預印本平台arXiv上發布。該論文已收錄於arXiv資料庫，編號為arXiv:2411.15296。
