GSM8K

GSM8K是OpenAI於2021年發布的一個數據集，全稱為Grade School Math 8K，包含8500道高質量的國小數學套用題，用於評估大語言模型的數學推理能力。該數據集由標註公司Surge AI製作，題目需要2到8步解決，並配有詳細解法。

GSM8K已成為評估大模型數學能力的流行基準，眾多研究在此數據集上測試模型性能。基於其測試集，後續擴展出了視覺版本基準GSM8K-V。為應對可能的數據污染問題，研究中也衍生出了如GSM-Symbolic等數據增強變體。

基本介紹

GSM8K是一個由OpenAI發布的數學套用題數據集，包含8500個國小水平的數學問題，其中訓練集7473個問題，測試集1319個問題。GSM8K的設計原則包括高質量、高多樣性、中等難度和自然語言解決方案。每個問題需要2到8步解決，涉及加減乘除運算，難度近乎9至12歲小學生的數學題。

數據創建

GSM8K數據集的構建工作由AI標註公司Surge AI完成。Surge AI為OpenAI的強化學習團隊製作了包含8,500道國小數學題的數據集，用於訓練GPT-3等模型理解自然語言數學問題的解題邏輯。

Surge AI不僅負責設計題目，還為每道題編寫詳細解法，確保數據既符合邏輯也具備教學性。

為確保質量，Surge AI建立了由數學或STEM背景人員組成的標註團隊，並對前期提交結果進行雙人交叉審核。同時，通過語義相似度計算機制剔除重複或結構雷同的題目，確保訓練數據的廣泛覆蓋與風格一致性。

數據集特點

GSM8K是一個由OpenAI發布的國小數學套用題數據集，包含約8.5K個高質量問題。每個問題需要2到8步通過基本的加、減、乘、除運算解決，難度對應9至12歲學生水平。數據集的設計原則強調高質量、高多樣性、中等難度和自然語言解決方案。數據集用於評估大語言模型的數學推理能力。數據集通常分為訓練集（7473個問題）和測試集（1319個問題）。

主要用途與影響

GSM8K數據集被廣泛用作評估大語言模型數學推理能力的核心基準。截至2025年，許多頂尖模型在GSM8K上的準確率已輕鬆突破90%，甚至達到或超越人類水平。

該數據集引導了相關研究方向，並催生了如WizardMath等專門針對數學推理最佳化的訓練方法。然而，GSM8K的靜態性和潛在的訓練數據污染風險也促使研究者開發了如GSM-Symbolic、GSM-NoOp等增強基準，以對模型推理能力進行更細緻和可靠的評估。

GSM8K的套用範圍從純文本數學推理擴展到了多語言場景，並衍生出了用於評估視覺語言模型跨模態推理能力的視覺數學推理基準GSM8K-V。同時，也出現了如rStar、TinyGSM等方法，顯著提升了小型語言模型在GSM8K上的性能，例如將LLaMA2-7B的準確率從12.51%提升至63.91%，或在34B參數規模下突破80%準確率門檻。

衍生與擴展

GSM8K-V由浙江大學推出，將文本問題映射為多圖像問題，用於評估視覺語言模型的數學推理能力。GSM-Symbolic由蘋果公司提出，通過替換專有名詞、改變數字、添加無關信息等方式生成多樣化變體，以測試模型魯棒性和避免數據污染；其中GSM-NoOp專門添加無關信息測試模型辨別相關性的能力。mGSM/GSM8KInstruct是多語言版本的GSM8K數據集，用於訓練和評估模型的多語言數學推理能力。

數據集的局限性

GSM8K數據集題目固定且被反覆使用，可能導致數據污染風險，即測試集題目被無意中納入模型訓練數據，影響評估可靠性。GSM8K的靜態性質不允許進行可控實驗以了解模型的局限性，例如在不同條件下的行為或問題方面和難度水平的變化。

後續研究提出了GSM-Symbolic基準，使用符號模板生成GSM8K問題的多樣化變體，以進行更細緻和可靠的評估。GSM-Symbolic揭示了模型在原始GSM8K上的高性能可能具有脆弱性，其推理過程可能主要基於模式匹配而非形式化推理。模型對問題表述的微小變化，如數值變化或添加無關信息，可能非常敏感，表現出不合理的性能波動。