API GET API GET学习资料 · WorkBuddy 教程库
API GET 官网 去用 WorkBuddy 自定义模型

AI 学习资料 · OWASP 大语言模型应用 Top 10 安全威胁 2025（简体中文版）

LLM03:2025 供应链

OWASP Top 10 for LLM Applications & Generative AI 项目（OWASP GenAI Security Project）著；Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人CC BY-SA 4.0出处与许可 约 6 分钟

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理，以 CC BY-SA 4.0 发布。API GET 的改动：标题层级整体提升一级（原文从二级标题开始）；“许可风险”一段补了一个逗号；“Open AI”改为“OpenAI”。

描述

LLM供应链容易受到各种漏洞的影响，这些漏洞可能威胁训练数据、模型和部署平台的完整性。此类风险可能导致偏差输出、安全漏洞或系统故障。传统软件漏洞主要集中在代码缺陷和依赖项上，而在机器学习中，风险还扩展到第三方预训练模型和数据。这些外部元素可能通过篡改或投毒攻击被利用。

LLM的开发是一项专业任务，通常依赖第三方模型。开放访问的LLM兴起，“LoRA”（低秩适应）和“PEFT”（参数高效微调）等新型微调方法不断出现，尤其是在 Hugging Face 等平台上广泛应用，这些都带来了新的供应链风险。此外，设备端LLM的出现增加了攻击面和供应链风险。

本条目专注于风险的供应链方面，与“LLM04 数据与模型投毒”中的一些风险相互关联。简单的威胁模型可参考这里。

常见风险示例

1. 传统第三方组件漏洞

使用过时或已弃用的组件，这些组件可能被攻击者利用来攻破LLM应用。这类似于“OWASP A06:2021 – 易受攻击和过时的组件”，而当这些组件用于模型开发或微调时，风险更高。
（参考链接：A06:2021 – Vulnerable and Outdated Components）

2. 许可风险

AI开发通常涉及多种软件和数据集许可证，管理不当可能引发法律和使用风险，包括使用限制、分发和商业化限制。

3. 过时或已弃用模型

使用不再维护的过时或已弃用模型会带来安全隐患。

4. 脆弱的预训练模型

预训练模型可能包含隐蔽偏见、后门或其他未识别的恶意特性。尤其通过数据集投毒或直接模型篡改（如 ROME 技术）生成的脆弱模型具有潜在风险。

5. 模型溯源薄弱

目前已发布的模型缺乏可靠的溯源保障。模型卡等文档提供了模型信息，但无法保证模型来源真实性，供应链攻击者可利用这一点来进行社会工程和模型篡改。

6. 脆弱的LoRA适配器

LoRA微调技术虽然提高了模块化程度和效率，但也增加了安全风险，例如恶意适配器可能破坏模型的完整性。

7. 利用协作开发流程

协作模型开发流程和服务（如模型合并和转换服务）可能被利用来注入漏洞。

8. 设备端LLM供应链漏洞

设备端部署的LLM面临制造流程被攻破、设备固件漏洞被利用等供应链风险。

9. 模糊的条款与数据隐私政策

模糊的条款和数据隐私政策可能导致敏感数据被用于训练模型，从而增加数据泄露风险。

防范与缓解策略

  1. 审核数据源和供应商，包括条款与隐私政策，仅使用可信供应商。定期审查和审计供应商安全措施及其变更。

  2. 参考OWASP Top Ten中的“A06:2021 – 易受攻击和过时的组件”进行漏洞扫描和管理；能接触敏感数据的开发环境也要实施这些控制措施。
    （参考链接：A06:2021 – Vulnerable and Outdated Components）

  3. 选择第三方模型时，进行全面的AI红队测试和评估。采用如Decoding Trust等可信AI基准，但需警惕模型微调可能绕过这些基准。

  4. 使用软件物料清单（SBOM）维护组件清单以防止篡改。探索AI BOM和ML SBOM选项（例如OWASP CycloneDX）。

  5. 针对AI许可风险，创建许可证清单并定期审计，确保遵守使用条款，必要时使用自动化许可证管理工具。

  6. 使用可验证来源的模型，结合第三方完整性检查（如签名和文件哈希）弥补模型溯源薄弱的问题。

  7. 在协作开发环境中实施严格监控和审计，防止滥用。例如使用HuggingFace SF_Convertbot Scanner等自动化工具。
    （参考链接：HuggingFace SF_Convertbot Scanner）

  8. 对供应方提供的模型和数据进行异常检测和对抗性鲁棒性测试，这些方法也可在MLOps和LLM管道中实现。

  9. 实施补丁管理策略，确保应用依赖的API和底层模型都是仍在维护的版本。

  10. 加密部署在边缘AI设备上的模型，并通过厂商的认证（attestation）API防止被篡改的应用与模型运行。

攻击场景示例

场景1：易受攻击的Python库

攻击者利用易受攻击的Python库入侵LLM应用，OpenAI的首次数据泄露事件就是这样发生的。

场景2：直接篡改

直接篡改模型并发布，用来传播虚假信息，例如通过PoisonGPT绕过Hugging Face的安全机制。

场景3：微调热门模型

攻击者通过微调开放模型绕过基准测试，在特定领域（如保险）表现突出，但隐藏触发条件以实施恶意行为。

场景4：预训练模型

在未充分验证的情况下使用预训练模型，被篡改的模型引入了恶意代码，导致输出带有偏见。

场景5：第三方供应商被攻破

第三方供应商提供的LoRA适配器被攻击者篡改并合并到LLM中。

场景6：供应链渗透

攻击者渗透第三方供应商，篡改其LoRA适配器，以隐藏漏洞并控制系统输出。

场景7：云端攻击

攻击者利用共享资源和虚拟化漏洞实施云劫持（CloudJacking），导致未经授权访问关键部署平台。

参考链接

  1. PoisonGPT: How we hid a lobotomized LLM on Hugging Face to spread fake news
  2. Large Language Models On-Device with MediaPipe and TensorFlow Lite
  3. Hijacking Safetensors Conversion on Hugging Face
  4. ML Supply Chain Compromise - MITRE ATLAS
  5. Using LoRA Adapters with vLLM
  6. Removing RLHF Protections in GPT-4 via Fine-Tuning
  7. Model Merging with PEFT
  8. HuggingFace SF_Convertbot Scanner
  9. Thousands of servers hacked due to insecurely deployed Ray AI framework
  10. LeftoverLocals: Listening to LLM responses through leaked GPU local memory

相关框架和分类

此条目详细列出了涉及供应链安全的风险、攻击示例和防范策略，为安全开发和部署LLM应用提供了基础指南。用户应结合具体应用场景实施适当的风险缓解措施，加强整个供应链的安全性。

来源与许可

本页内容为《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版（OWASP Top 10 for LLM Applications & Generative AI 2025），OWASP GenAI Security Project 著，Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人；原文 https://genai.owasp.org/ （简体中文 PDF：https://genai.owasp.org/download/46125/ ），源文件 https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/99f4395589bdbd120ae961f9cd179e79d7f9b27f/2_0_vulns/translations/zh-CN 。依据 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）使用；API GET 调整了排版（标题层级、空行），并做了以下文字改动：序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异。本页同样以 CC BY-SA 4.0 发布。OWASP 及其标志是 OWASP Foundation, Inc. 的商标，本站与 OWASP 无关联，不代表其认可。

本章改动：标题层级整体提升一级（原文从二级标题开始）；“许可风险”一段补了一个逗号；“Open AI”改为“OpenAI”；开头加一行出处与许可说明（CC BY-SA 4.0）；2026-10-27 校对：compromise 不再译作“妥协”，按语境改为“攻破”“破坏”“篡改”“入侵”；对照英文原文修正几处误译和病句（描述第二段、防范策略第 2、3、9、10 条、场景 2 与场景 4 等）；删去会显示在页面上的多余行尾反斜杠

我们根据 OWASP 的 GitHub 仓库（commit 99f4395）中的简体中文 Markdown 源文件，把序言和 10 个风险条目整理成 11 页，整理后的版本以 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）发布，任何人都可以按该许可转发和改编。改动如下：所有标题整体提升一级，使每页只有一个一级标题；LLM02“防范与缓解策略”下原本与它同级的六个小节降为下级标题；LLM07 两处引用块后补空行，避免后一句被并进引用块；序言中 Talesh Seeparsan 一段补了换行；序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异；每页开头加一行出处与许可说明。译文其余文字未改，“过度代理权限”（序言）与“过度授权”（LLM06 标题）的不一致按原文保留，只加了编者注。未收录 Supplemental_Content.md 和 PDF 版。2026-10-27 起，本库又对照同一 commit 的英文原文校对了全部 11 页：修正误译和不通顺的句子，按本库术语统一“提示词”“智能体”“大语言模型”等用语，并删去会在页面上显示成“\”的行尾反斜杠；各页的具体改动见“本章改动”。

原文许可文本出处与许可