MATH500

MATH500是一個公開評測集。該數據集包含不同難度的題目，例如“MATH500-L5”是其高難度題目子集。在學術研究中，MATH500常與AIME2024共同作為對照評測集，以檢驗模型在減少數據污染情況下的表現。

多項測試結果顯示，不同模型在MATH500上的性能存在差異，例如LIMO模型達到94.8%的準確率，而QwQ和o1-preview分別為89.8%和85.5%。研究還表明，較小規模的模型通過計算最佳化策略可以在該數據集上超越參數規模更大的模型。

基本介紹

• 外文名：MATH500

數據集簡介

MATH500是一個公開評測集。其題目來源於高中競賽級別的數學題目。它常與AIME2024一同被提及和使用，組成對照評測集。

數據集構成

MATH500數據集包含不同難度的題目子集，例如MATH500-L5代表難度等級為L5的題目。MATH500-L5是常用的高中競賽級別題目評測集。

評測套用與表現

MATH500被多個研究機構用作核心評測基準，用於評估大語言模型的數學推理能力。LIMO模型在MATH500測試中達到94.8%的成績；o1-mini的pass@1為90.0%，o1的pass@1為96.4%。通過最佳化測試時計算策略，較小參數規模模型在MATH500上表現優於極大參數模型或達到頂尖水平。計算最優的TTS策略相比思維鏈方法在推理性能上提升了154.6%，效率提升256倍。

相關評測集

AIME2024（亦常簡稱為AIME24）是與MATH500並列使用的數學推理評測集。該評測集題目難度較高，常被用作對照評測基準。評測基準LiveMathBench也常被用於與MATH500的評測結果進行對比，以評估模型表現差異與穩定性。