基本介紹
- 提出時間：2019年
- 提出者：華盛頓大學
Allen AI - 數據規模：約7萬個問題
- 構建方法：對抗性過濾
- 用途：評估常識推理能力
- 類型：數據集
開源項目
背景與起源,數據集構成與構建,爭議與批評,
背景與起源
HellaSwag數據集由華盛頓大學和艾倫人工智慧研究所的研究人員於2019年提出。其核心論文《HellaSwag: Can a Machine Really Finish Your Sentence?》發表於計算語言學會議ACL 2019。該數據集的創建旨在構建一個對當時最先進的深度預訓練模型具有挑戰性的常識推理任務，以探索和測試模型在常識推理方面的表現。該項目的官方主頁為https://rowanzellers.com/hellaswag/，相關代碼與數據開源發布於https://github.com/rowanz/hellaswag/。
數據集構成與構建
HellaSwag（全稱“HellaSwag: Can a Machine Really Finish Your Sentence?”）是一個用於常識性自然語言推理的挑戰性數據集。該數據集由華盛頓大學和Allen AI的研究團隊於2019年推出，相關論文發表於ACL 2019。HellaSwag旨在評估模型在給定事件描述後選擇最合理後續句子的能力。
數據集的原始素材來源於ActivityNet視頻描述數據集和WikiHow教程文章。構建時，研究者從這些素材中截取片段作為上下文，並使用最初的GPT模型為每個上下文生成多個可能的續寫。
為了提升數據集的難度，研究團隊採用了對抗性過濾方法。該方法通過一系列判別器疊代地篩選出那些對模型而言看似合理、但對人類而言顯得荒謬或錯誤的機器生成答案作為干擾項。構建完成後，還經過了人工驗證以確保答案質量。
數據集的每個樣本包含（樣本ID）、（活動標籤）、和（上下文的兩種表示形式）、（完整上下文）、（一個包含4個候選結尾的列表）、（來源ID）、（數據分割）、（分割類型）以及（正確答案的索引）等欄位。整個數據集約包含70,000個問題，具體劃分為訓練集39,905個樣本，驗證集10,042個樣本，測試集10,003個樣本。
2025年，研究社區提出了HellaSwag-Pro，這是一個大規模雙語（中英文）基準測試，旨在評估大語言模型在常識推理上的魯棒性。它通過對原始HellaSwag問題進行七種類型的變體設計，構建了包含11,200個案例的新基準。
該數據集遵循Apache License 2.0或MIT開源協定。
爭議與批評
作為廣泛使用的常識推理評估基準，HellaSwag也面臨一些批評，主要圍繞其構造效度、評測有效性以及數據敏感性等方面。有批評指出HellaSwag存在嚴重的構造效度問題，其數據集中包含語法錯誤、拼寫錯誤和不合邏輯的英語表述。實驗表明，如果僅評估模型的答案文本，或使用無意義的文本替換掉問題上下文，超過65%的模型預測保持不變，這引發了對該評測基準是否能有效衡量模型常識推理能力的質疑。此外，HellaSwag的評測結果對預訓練數據集的組成非常敏感，存在因數據污染而導致分數虛高的可能性。HellaSwag側重常識推理。
