HotpotQA

HotpotQA是一個英文多跳問答數據集，由史丹福大學、卡內基梅隆大學等研究人員創建，於2018年發布。該數據集基於維基百科構建，包含約113k問答對，其問題設計需要結合多篇文檔進行多步推理才能回答，並提供句子級別的支持事實以增強答案的可解釋性。

自2018年發布後，該數據集吸引了眾多國內外高校和研究機構參與相關評測。在相關評測中，復旦“立德戰隊”於2022年獲得了第一名。

主要特點

HotpotQA數據集包含約113k個基於維基百科的問答對，具備四個核心特徵。首先，其問題設計為必須通過查找並推理多個支持文檔才能得出答案，這模擬了人類進行複雜問題解答時的多步推理過程，區別於傳統的單文檔問答。其次，問題不受限於任何預定義的知識庫或知識模式，內容覆蓋維基百科的廣泛主題，使得數據集在內容和難度上具有自然性和多樣性。

該數據集為每個問題提供了句子級別的支持事實，即推理所依據的具體句子，這為問答系統提供了強監督信號，旨在提升模型性能並使預測過程具備可解釋性，能夠展示答案的推理鏈條。支持事實的評估指標為Supporting Fact EM/F1。此外，數據集還專門設計了一類事實比較型問題，用於測試問答系統提取相關事實並進行必要對比的能力。

數據集設定

HotpotQA數據集主要包含兩種評測設定：干擾項設定（Distractor Setting）和全維基設定（Fullwiki Setting）。

干擾項設定提供10個段落，其中包含回答問題所需的黃金段落及干擾段落，模型需要從中篩選相關文檔進行多跳推理。

全維基設定僅提供問題，模型需從整個維基百科中檢索相關文檔並推理答案，該設定更接近實際套用場景，難度更高。

評估方法

HotpotQA根據答案準確性和可解釋性對模型進行評估。答案準確性通過預測答案與標準答案之間的完全匹配（EM）和單字元F1分數（unigram F1）來衡量。可解釋性則通過預測的支持事實句子與人工標註的支持事實的匹配程度來評估，使用支持事實完全匹配（Supporting Fact EM）和支持事實F1分數（Supporting Fact F1）。該數據集還報告了一個聯合指標，以鼓勵系統同時在兩項任務上表現良好。

學術影響與評測

HotpotQA自2018年發布以來，吸引了眾多國內外高校和研究機構的參與。HotpotQA要求模型從多篇文章中篩選證據並構建多步推理鏈以回答問題，因此常被用作評估模型長文本理解和多跳推理能力的評測平台。

HotpotQA主要設有干擾項賽道和全維基賽道。干擾項賽道競爭尤為激烈，更側重於考察模型的文本推理能力。在該賽道上，復旦“立德戰隊”與華為泊松實驗室的聯合模型於2022年6月以76.69的綜合F1指標榮登榜首。金山AI曾在該榜單上取得優異成績。華為雲也登頂該評測。

相關競賽成果

2022年6月27日，來自復旦大學計算機科學技術學院的“立德戰隊”和華為泊松實驗室組成的聯合研究團隊提出的模型在HotpotQA干擾項賽道榜單上榮居榜首，綜合F1指標達到76.69。

2020年9月，金山AI團隊在HotpotQA干擾項賽道榜單中獲得第一名。