MathVision是一個多模態推理模型的評測基準,其標準基於MATH-Vision數據集。該數據集包含3040道來自真實數學競賽、配有視覺情境的題目,任務形式為多項選擇,評估指標為準確率。MathVision與MathVista、MathVerse等同被視為主流數學推理測試集。
該基準被用於評估和比較各類多模態大模型的性能。例如,R1V 3.0模型在MathVision上取得了52.6分的成績。豆包2.0模型在MathVision基準測試中達到了SOTA水平。Open-Vision-Reasoner作為預訓練模型,首次在MathVision上使7B參數規模的模型準確率超越50%。
研發背景,發展歷程,
研發背景
MathVision(又稱MATH-Vision或MATH-V)是一個多模態數學推理模型評測基準。其數據集是一個精心整理的包含3,040道高質量數學題的數據集,題目均來自真實數學競賽,並配有視覺情境。評測任務類別包括復選題(MCQ)、數學(Math)、多模態(MultiModal)和推理(Reasoning)。
相關分析指出,MathVision與MathVerse等基準測試顯示出較高的相關性,表明它們在評估多模態大語言模型數學能力的重點領域存在重疊。
發展歷程
MathVision是一個用於評估多模態數學推理能力的基準測試數據集。它包含來自真實數學競賽的題目,並配有視覺情境。MathVision是流行的數學基準測試之一。
2025年7月9日,崑崙萬維發布並開源Skywork-R1V 3.0模型。在MathVision基準上,R1V 3.0取得了52.6分的成績。
2025年7月25日,火山引擎開源的Open-Vision-Reasoner模型在MathVision上達到51.8%的準確率。該模型首次在7B參數規模的預訓練模型中超越50%的性能門檻。
2025年8月,階躍星辰發布的Step-3模型採用MoE架構。Step-3在MathVision等榜單上取得了開源多模態推理模型的SOTA成績。
至2026年2月,豆包2.0大模型在MathVision等基準測試中達到業界SOTA水平。
