數據投毒是指有意或惡意地向數據集中引入虛假、惡意或有害的數據，利用訓練或者微調（fine-tuning）過程使得模型中毒，以操縱、損害或欺騙機器學習模型的性能和輸出結果。這種攻擊旨在特定階段操縱訓練數據（本文討論的數據投毒亦係數據收集和數據預處理階段），使模型在後續的預測和決策中表現不佳或產生錯誤的結果。
2025年8月5日，國家安全部發文稱，警惕人工智慧“數據投毒”。
基本介紹
- 中文名：數據投毒
- 詞語釋義：惡意引入有害的數據使得模型中毒的行為
釋義,技術原理,技術危害,處理措施,
釋義
數據投毒是指有意或惡意地向數據集中引入虛假、惡意或有害的數據，利用訓練或者微調（fine-tuning）過程使得模型中毒，以操縱、損害或欺騙機器學習模型的性能和輸出結果。這種攻擊旨在特定階段操縱訓練數據（本文討論的數據投毒亦係數據收集和數據預處理階段），使模型在後續的預測和決策中表現不佳或產生錯誤的結果。
技術原理
（1）添加虛假數據：攻擊者可能向訓練數據中添加虛假或不準確的數據，以干擾模型的訓練。例如上述“高老莊AI模型”的例子。
（2）數據偏差：攻擊者可能故意引入數據偏差，以使模型偏向某些特定類別或結果。例如，在一個圖像分類模型中，攻擊者可能提供大量特定類型的圖像，以使模型在該類別上表現良好，而在其他類別上表現糟糕。
（3）對抗性樣本：對抗性樣本是一種特殊類型的輸入數據，經過微小修改後，可以導致模型產生錯誤的輸出。攻擊者可以生成對抗性樣本，並將其添加到訓練數據中，使模型容易受到攻擊。例如，在圖像分類中，對抗性樣本可能導致模型將一隻貓誤分類為一隻狗。
（4）數據污染：數據污染是指通過向數據中引入噪音或干擾來降低數據質量。攻擊者可以故意污染訓練數據，使模型在處理乾淨數據時出現錯誤。例如，在語音識別模型中，添加噪音到音頻數據可能導致模型錯誤地解釋語音。
（5）標籤錯誤：攻擊者可以更改或錯誤地標記訓練數據的標籤。這可能導致模型學習不正確的關係。例如，在一個疾病診斷模型中，將健康圖像標記為患病可能導致模型產生錯誤的診斷。
技術危害
在自動駕駛汽車領域，可能導致車輛產生錯誤的安全駕駛決策，如無法識別障礙物或紅綠燈，從而釀成嚴重的交通事故。
在智慧醫療診斷領域，可能會造成醫療圖像分析失誤，或者疾病診斷錯誤，嚴重危及患者性命。
在國家軍事安全領域，可能導致對國家機密信息的入侵或破壞，危及國家安全，甚至誘導自主性武器錯誤發起攻擊，造成災難性後果。
而這些看似複雜高超的“投毒”技術手段，到底有多難實現？是否需要很大的成本？有技術專家自媒體作者查閱資料時發現，墨爾本大學和臉書AI實驗室於2020年底發表的一篇論文中提到：只需要占比0.006%的惡意樣本，就可以有50%的機率完成數據投毒攻擊。
處理措施
2025年8月5日，國家安全部發文表示，人工智慧的訓練數據存在良莠不齊的問題，其中不乏虛假信息、虛構內容和偏見性觀點，造成數據源污染，給人工智慧安全帶來新的挑戰。通過篡改、虛構和重複等“數據投毒”行為產生的污染數據，將干擾模型在訓練階段的參數調整，削弱模型性能、降低其準確性，甚至誘發有害輸出。研究顯示，當訓練數據集中僅有0.01%的虛假文本時，模型輸出的有害內容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應上升7.2%。
