AI投毒是指不法組織通過偽造專家身份、虛構研究報告等方式,向AI"投餵"本不存在的虛假信息的行為。該行為主要通過"數據投毒"和"提示詞注入"兩種形式實施,包括偽造學術來源、構造假新聞來源、利用AI生成偽原創內容並模擬真人發布等手段,形成"AI投毒閉環"。當訓練數據中僅有0.01%虛假文本時,大模型有害輸出率會上升11.2%,即使0.001%的污染也會導致有害內容增加7.2%。AI投毒可發生在數據採集、標註、清洗及模型套用階段,典型案例包括虛假交通事故結論生成和文化傳承信息篡改事件。防範措施涵蓋算法層安全對齊、交叉驗證等技術手段,以及強制平台標註AI生成內容等制度規範。
