典型案例
2025年10月,安徽一女子用AI工具生成了高度逼真的“流浪漢臥坐餐廳”等圖片,發給在外聚餐的丈夫想測試其反應,沒想到丈夫信以為真,當即報警求助。而在媒體的相關報導中,用AI製作“流浪漢闖入家中”圖片、視頻來整蠱家人的帖子,也在社交平台走紅。
2025年11月,廣州番禺一小區業主群因一張“流浪漢正闖入家門”的圖片炸開鍋。畫面中,一名流浪漢站在業主家門口,家中年幼的孩子正手持掃帚試圖驅趕。業主們連呼“嚇人”,紛紛質疑物業安保不力,要求立即調取監控查明情況。直到一位業主提出疑問,表示圖片可能是AI生成的。起初,發圖家長並不相信:“我家孩子才12歲,怎么能做假圖?而且照片上就是我家的門、掃把,還有樓梯。”但在其他業主解釋如今用AI工具生成類似圖像非常簡單之後,這位家長詢問孩子,這才真相大白。她隨後在群里解釋,因為圖片太過逼真,自己情急之下才發到了業主群。
2025年12月10日,廣州市公安局天河分局發布警情通報:
廣州李某(男,36歲)為炫耀個人技術,利用AI技術生成以
小鵬汽車展台為背景的虛假低俗視頻並在社交平台傳播,造成不良社會影響,警方已依法對李某作出行政拘留10日的處罰。該事件中,小鵬汽車未邀請任何模特,虛假視頻詆毀小鵬汽車品牌和產品。
社會評論
AI的使用是有邊界的,夫妻或者家人之間的感情,也沒必要用AI來測試。AI整蠱,這種看似荒誕的操作,實則存在不少隱患。用AI流浪漢騙老公或者其他親人事件的出現,就發出了這樣一種警示。使用者或許只是出於好奇、好玩的心理,想著開個玩笑、無傷大雅。但這類玩笑本身已是對雙方信任關係的消耗,也是對家庭成員的不尊重。相應的制度規範要“長出牙齒”,如
小鵬汽車通過正式報警並配合公安機關查處李某案件,體現了企業對於利用AI技術損害品牌行為的零容忍態度,為行業維權提供了範本。對濫用技術造成危害的行為依法嚴懲。平台層面也需加強對AI生成內容的標識管理,涉事企業小鵬汽車在事件發生後第一時間通過平台渠道固定證據並報警(2025年11月28日),展現了企業主動運用平台機制維權的實踐路徑。一旦這種AI整蠱的圖片、視頻在平台出現,就得及時予以核實規制,防止其擴散後產生示範效應。AI的價值不在於製造虛假,而在於賦能真實。而讓AI真正服務於生活,而非成為破壞信任、傷害感情的工具,或許是AI時代每個人都須具備的“媒介素養”。(
新京報評)
應對AI帶來的信任危機,不能只依賴於監督執法的“事後追責”,要把功課做在前面。《
人工智慧安全治理框架》2.0版已明確的“示偽水印”要求,這一規定需儘快落地執行,讓用戶能一眼識別內容是否為AI生成;同時,平台要履行好“守門人”的責任,從源頭壓縮虛假信息的生存空間。儘管《
中華人民共和國治安管理處罰法》《
中華人民共和國刑法》已對“編造虛假信息”作出規定,但在實操層面仍然面臨取證難、定性難的問題。AI使用標準應當進一步明晰——比如要求AI 工具提供者嚴格執行“實名登記”與“用途審核”,若明知用戶用於造假仍提供服務,需承擔連帶責任;要求平台對傳播量達到一定數量級的AI謠言“快速追責”,讓制度真正“長出牙齒”“落到實處”。公眾在面對“熱點事件”的時候,有必要多觀察細節、謹慎核實求證,在不確定真實性時不盲目擴散,避免成為謠言“幫凶”。近日廣州警方對李某利用AI技術偽造
小鵬汽車車展不雅視頻的行為作出行政拘留10日的處罰(2025年12月通報),印證了制度規範對技術濫用的實際約束力。這也是AI時代的“
媒介素養”。(央視網 評)
潛在風險
根據《中華人民共和國治安管理處罰法》相關規定,對謊報警情的違法行為有著明確的罰款、拘留規定。而刑法中也有“編造、故意傳播虛假信息罪”,規定“造成嚴重後果的,處3年以上7年以下有期徒刑。”
律師周兆成認為,從法律層面看,並不是僅本人打電話才算報假警,明知家人可能會誤判報警,還故意製作AI圖片、視頻,屬於“間接故意”,可能算共犯。此前,某地曾有人利用AI製作假尋人啟事,說女兒被拐,家人信了報警,最後被行政拘留。周兆成表示,因這一行為報警,占用的不僅是警力,還可能是別人的救命機會。如果被警方認定是報假警,按《中華人民共和國治安管理處罰法》,將面臨5天至10天拘留的處罰,同時需繳納500元罰款。如果視頻被轉發從而引發社會恐慌,可能觸犯《中華人民共和國刑法》的“編造虛假信息罪”,最高能判5年以上有期徒刑。
北京市大道政通律師事務所合伙人韓鵬律師在接受媒體採訪時表示,AI整蠱事件的危害情節普遍比較輕,但在某種程度上已反映出AI技術濫用帶來的諸多問題,是技術濫用與治理滯後共同作用下的產物。AI生成內容的高度逼真性,正在模糊真實與虛構的邊界。公眾對AI能力的認知若停留在“娛樂玩具”層面,便容易低估其社會影響。加強AI素養教育,不僅是教會人們如何使用,更要警示可能產生的法律與倫理後果,青少年群體應該樹立技術使用的責任意識。