OWASP Top 10 for LLM Applications

OWASP Top 10 for LLM Applications是開放式Web應用程式安全項目(OWASP)發布的針對大型語言模型套用的安全風險列表。OWASP工作組於2023年啟動了該項目,並於同年10月發布了首份報告,列出了包括提示詞注入、訓練數據投毒、模型拒絕服務等在內的十大安全風險。

2025年,OWASP更新了該風險列表,新增了系統說明書泄密和知識庫漏洞等關鍵風險,並對原有風險進行了升級。該項目已發展成更全面的OWASP GenAI安全項目。基於此列表,OWASP於2024年2月發布了《LLM AI Cybersecurity & Governance Checklist》。

基本含義,發展歷程,基本特徵,影響,相關研究,

基本含義

OWASP(開放式Web應用程式安全項目)是一個專注於Web套用安全的國際非營利組織。2023年,其工作組啟動了針對大型語言模型(LLM)套用安全威脅的新項目。該項目現已發展為更全面的“OWASP GenAI Security Project”,這是一個全球性的開源倡議,致力於識別、緩解和記錄與生成式AI技術(包括大型語言模型、智慧型體AI系統和AI驅動套用)相關的安全和安全風險,而Top 10列表仍是其核心組成部分。該項目於2023年10月發布了《OWASP Top 10 for LLM Applications》報告,該報告旨在識別LLM套用面臨的主要安全威脅,提供漏洞和真實攻擊場景示例以及相應的緩解策略,目標是提高開發者、設計師、架構師和管理人員的安全意識與防禦能力。該報告在2025年發布了更新版本,對風險有了更深層次的理解,並納入了LLM在實際套用中的最新進展,例如新增了系統說明書泄密和知識庫漏洞等關鍵風險。

發展歷程

OWASP的《大規模語言模型套用 Top 10》項目始於2023年,旨在突出並解決與人工智慧套用相關的安全問題。該項目已從一個解決緊急安全缺口的小團體,發展為一個擁有來自18個國家超600名貢獻專家、近8000名活躍社區成員的全球性社區,並演變為更全面的OWASP GenAI安全項目。2023年10月16日,OWASP發布了《OWASP Top 10 for LLM Applications》報告,該版本列出了包括提示詞注入、不安全的輸出處理、訓練數據投毒、模型拒絕服務、供應鏈漏洞、敏感信息泄露、不安全的外掛程式設計、過度代理、過度依賴以及模型竊取在內的十大安全風險。
2025年更新的版本對現有風險有了更深層次理解,並納入了LLM在實際套用中的最新重要進展。此次更新發布了新的十大風險列表,具體包括:提示注入、敏感信息泄露、供應鏈、數據與模型中毒、不當的輸出處理、過度的代理、系統提示泄露、向量和嵌入弱點、無限消耗。
這一標準已成為業界公認的LLM安全評估基準。

基本特徵

OWASP(開放Web套用安全項目)是一個專注於Web套用安全的國際非營利組織。2023年,其工作組啟動了針對大型語言模型套用安全威脅的新項目,並於2023年10月發布了《OWASP Top 10 for Large Language Model Applications》報告。該項目現已發展成為全面的OWASP GenAI安全項目,這是一個全球性的開源倡議,旨在識別、緩解和記錄與生成式AI技術相關的安全風險,OWASP大型語言模型套用十大安全風險列表仍是其核心組成部分。
該報告(0.5版)列出了十大安全風險,具體為:LLM01: 提示注入、LLM02: 不安全輸出處理、LLM03: 訓練數據投毒、LLM04: 拒絕服務、LLM05: 供應鏈安全、LLM06: 許可權問題、LLM07: 數據泄露、LLM08: 過度代理、LLM09: 過度依賴LLM生成的內容、LLM10: 不安全的外掛程式。
2025年更新的版本對風險分類進行了演進,將其劃分為訓練數據層、輸入層、輸出層和治理維度等類別,並新增了系統說明書泄密和知識庫漏洞等風險點。2025年更新的版本列出的十大安全風險包括:提示注入、敏感信息泄露、供應鏈、數據與模型中毒、不當的輸出處理、過度的代理、系統提示泄露、向量和嵌入弱點、無限消耗。
這些風險主要可歸納為兩類,一類是LLM模型自身的固有風險,另一類是模型與外部環境互動產生的風險。

影響

OWASP發布的《OWASP Top 10 for LLM Applications》報告已成為業界公認的LLM安全評估基準,多家企業如日本NTT DATA已基於此標準推出專門的LLM安全診斷服務。
2025年更新的版本中,新增了系統說明書泄密和知識庫漏洞等關鍵風險,同時升級了AI造謠和AI經濟攻擊等原有威脅的描述與危害程度。
該報告的發布與疊代也推動了相關治理框架的制定,例如OWASP團隊基於此編制並發布了《LLM AI Cybersecurity & Governance Checklist》(大型語言模型網路安全和治理清單),為組織提供了結構化的安全與治理實施框架。

相關研究

OWASP於2024年2月19日基於OWASP Top 10 for LLM Applications發布了《LLM AI Cybersecurity & Governance Checklist》1.0版本(大型語言模型網路安全和治理清單)。該手冊由OWASP Top 10 for LLM Applications團隊編制,旨在為組織提供一個結構化的框架,以幫助理解和實施LLM的安全和治理措施。手冊內容包括概述部分(介紹LLM技術背景、目標客群和風險類型)、詳細清單部分(涵蓋對抗性風險、測試評估驗證確認TEVV、模型卡、風險卡等關鍵領域)以及資源部分。
該項目自2023年啟動以來已顯著發展,現已擴展為全面的OWASP GenAI Security Project。這是一個全球性的開源倡議,致力於識別、緩解和記錄與生成式AI技術相關的安全和風險,涵蓋大型語言模型(LLM)、智慧型體AI系統和AI驅動套用。OWASP Top 10 for Large Language Model Applications仍然是其工作的核心組成部分。該項目已發展成為一個由來自超過18個國家的600多名專家貢獻者和近8000名活躍社區成員組成的全球社區。
該項目的內容也被業界廣泛探討,用於指導AI安全實踐和解決方案的開發。

相關詞條

熱門詞條

聯絡我們