數據污染

數據污染是計算機科學技術領域的專業術語，指自然語言處理中評估數據集部分或全部內容出現在模型預訓練語料庫，導致模型性能評估失真的現象。該現象具有普遍性，開源與閉源模型均存在不同程度的污染，文本評分、問答類任務受污染程度最為嚴重。污染形式包括實例級直接污染與數據集級間接污染，可通過數據溯源與模型行為分析進行檢測。防禦措施涵蓋數據清洗、對抗訓練、持續監控等技術手段，需防範污染導致的模型輸出錯誤與決策偏差。

基本介紹

• 研究機構：微軟、上海交通大學等20餘家機構 
• 污染程度：文本評分、問答類任務最嚴重 
• 基準數據集：MMLU、GLUE等存在系統性污染 
• 污染類型：直接污染、間接污染、任務污染
• 醫療危害：Bing Copilot產生24%醫學錯誤
• 檢測方法：成員推斷攻擊、生成機率分析

定義與分類

數據污染在計算機科學中特指模型訓練數據與測試數據存在重複或重疊，導致性能評估失真的技術現象。根據泄露程度可分為：

• 實例級別污染：評估數據直接混入訓練集，模型復現文本片段（如《哈利·波特》章節）
• 數據集級別污染：評估數據部分或全部被模型接觸，造成評估分數虛高

2024年研究報告擴展出間接污染（多語言數據推斷）與任務污染（相似任務數據干擾）類型。

技術影響

2024年實證研究顯示，污染導致主流模型在MMLU等基準測試中評估分數有效性受質疑。具體影響包括：

• 模型失真：問答類任務污染使Bing Copilot醫學錯誤率達24%
• 自動駕駛錯誤標註導致算力虛耗
• 安全風險：數據投毒攻擊引發實時決策錯誤

代碼生成領域因基準稀缺，污染加劇評估虛高與泛化能力誤判。

檢測技術

檢測框架綜合數據溯源與模型行為分析，主要方法包括：

• 實例相似度：精確匹配、模糊匹配、語言模型對比
• 機率分析：測算生成文本的絕對機率與參考實例機率差異
• 答案記憶：修改測試選項驗證模型依賴污染數據

2024年實驗表明，機率分析檢測效果接近隨機猜測（AUC=50%）。

防禦措施

防禦體系覆蓋數據全生命周期：

• 數據污染：指自然語言處理中評估數據集部分或全部內容出現在模型預訓練語料庫，導致模型性能評估失真的現象
• 對抗訓練：增強模型對污染數據的魯棒性
• 持續監控：構建模型平台與數據源協同審校機制

攜程通過位元組碼攔截實現IAST測試流量重定向，防治資料庫污染。