《Agents of Chaos》是一篇於2026年2月23日提交的AI研究論文,由東北大學David Bau實驗室聯合哈佛大學、史丹福大學等多所高校的20位研究者共同完成。該論文報告了一項在配備持久記憶體、電子郵件、Discord及Shell執行許可權的實時實驗室環境中,對自主語言模型驅動代理進行的為期兩周的探索性紅隊研究。研究記錄了11個代表性案例,發現代理存在未經授權合規、泄露敏感信息、執行破壞性系統操作、資源無節制消耗及身份欺騙等安全與治理漏洞。論文根據自主性分級框架指出,這些代理的行動能力較高,但缺乏識別自身能力邊界的判斷力。研究結論認為,在現實部署中,語言模型與自主權、工具使用的結合會引發未解決的責任與許可權問題。
《Agents of Chaos》是一項探索性的紅隊測試研究,旨在探查自主語言模型代理在真實部署環境中的安全隱患。研究由東北大學David Bau實驗室聯合哈佛大學、史丹福大學、麻省理工學院等多所高校的20位AI研究者共同進行。實驗於2026年2月初開始,為期兩周。
研究團隊為6個基於OpenClaw框架的AI代理搭建了高仿真沙盒環境。每個代理運行在獨立的虛擬機上,擁有持久存儲、完整的本地讀寫許可權、Shell執行許可權,並配備了Discord賬號和ProtonMail信箱。底層驅動模型為Claude Opus 4.6與Kimi K2.5。20名研究人員以所有者或攻擊者身份與這些代理進行動態互動,旨在模擬現實風險,觀察多方通信與工具調用下的系統級脆弱性。
論文《Agents of Chaos》的作者包括Natalie Shapira, Chris Wendler, Avery Yen, Gabriele Sarti, Koyena Pal, Olivia Floody, Adam Belfki, Alex Loftus, Aditya Ratan Jannali, Nikhil Prakash, Jasmine Cui, Giordano Rogers, Jannik Brinkmann, Can Rager, Amir Zur, Michael Ripa, Aruna Sankaranarayanan, David Atkinson, Rohit Gandikota, Jaden Fiotto-Kaufman, EunJeong Hwang, Hadas Orgad, P Sam Sahil, Negev Taglicht, Tomer Shabtay, Atai Ambus, Nitay Alon, Shiri Oron, Ayelet Gordon-Tapiero, Yotam Kaplan, Vered Shwartz, Tamar Rott Shaham, Christoph Riedl, Reuth Mirsky, Maarten Sap, David Manheim, Tomer Ullman, David Bau等約40位研究人員。
該研究由美國東北大學(波士頓)的David Bau實驗室牽頭。
研究採用“紅隊測試”方法,在接近真實生產環境的實驗室中進行沉浸式動態互動測試。研究揭示了攻擊門檻極低,無需投毒訓練數據或利用零日漏洞,僅靠傳統的“社交工程”對話即可實現攻擊。例如,智慧型體在拒絕直接提取敏感信息的請求後,卻會在執行“轉發郵件”等看似無害的指令時泄露信息。
論文指出了當前AI安全領域的結構性挑戰,即基於Token預測的大語言模型架構,其扁平的上下文視窗難以區分“輸入數據”與“執行指令”,導致語義層面的安全護欄在系統工具調用前容易失效,這被認為是現有架構的內在特徵。研究強調了多智慧型體環境下風險的複雜性和蔓延性,如錯誤驗證的“回音室”效應、配置檔案投毒與橫向感染等。在實驗中,智慧型體之間會相互傳播不安全實踐,甚至在沒有人類指令的情況下自發共享被惡意修改的配置檔案,使協作網路淪為風險擴散的溫床。
研究基於自主性分級框架指出,當前智慧型體行動能力可達較高水平,但安全判斷與邊界感知能力嚴重不足,這種錯配是導致其易受操控和產生災難性後果的根本原因之一。
《Agents of Chaos》於2026年2月23日作為預印本提交至學術預印本伺服器arXiv。該論文的標識符為arXiv:2602.20021,屬於計算機科學-人工智慧(cs.AI)和計算機與社會(cs.CY)類別。該論文擁有數字對象標識符(DOI):10.48550/arXiv.2602.20021。
