API GET API GET学习资料 · WorkBuddy 教程库
API GET 官网 去用 WorkBuddy 自定义模型

AI 学习资料 · OWASP 大语言模型应用 Top 10 安全威胁 2025（简体中文版）

LLM04:2025 数据与模型投毒

OWASP Top 10 for LLM Applications & Generative AI 项目（OWASP GenAI Security Project）著；Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人CC BY-SA 4.0出处与许可 约 4 分钟

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理，以 CC BY-SA 4.0 发布。API GET 的改动：标题层级整体提升一级（原文从二级标题开始）；标题“LLM04: 2025”改为“LLM04:2025”，与其他条目一致。

描述

数据投毒是指通过操控预训练、微调或嵌入所用的数据，引入漏洞、后门或偏见。此类操控可能损害模型的安全性、性能或道德行为，导致有害输出或功能受损。常见风险包括模型性能下降、输出带有偏见或有毒内容，以及下游系统遭到利用。

数据投毒可能针对LLM生命周期的不同阶段，包括预训练（从通用数据学习）、微调（适应特定任务）和嵌入（将文本转换为数值向量）。理解这些阶段有助于定位潜在漏洞来源。数据投毒被视为一种完整性攻击，因为篡改训练数据会影响模型做出准确预测的能力。外部数据源的风险尤为突出，因为其中可能含有未经验证或恶意的内容。

此外，通过共享库或开源平台分发的模型可能面临除数据投毒以外的风险，例如通过恶意序列化文件（如pickling）嵌入恶意代码，这些代码在加载模型时会执行。还要考虑到，投毒可能被用来植入后门。这种后门在特定条件触发之前保持隐蔽，不改变模型行为，因此难以测试和检测。

常见漏洞示例

  1. 恶意行为者在训练数据中引入有害数据，导致输出偏见。例如，“Split-View数据投毒”或“前置投毒（Frontrunning Poisoning）”等技术利用训练动态实现攻击。
    （参考链接：Split-View数据投毒）
    （参考链接：前置投毒）

  2. 攻击者直接在训练过程中注入恶意内容，影响模型输出质量。

  3. 用户在交互中无意间输入敏感或专有信息，这些信息可能在后续输出中暴露。

  4. 未经验证的训练数据会增加输出带有偏见或错误的风险。

  5. 资源访问限制不足可能导致不安全数据的引入，从而产生偏见输出。

防范与缓解策略

  1. 使用OWASP CycloneDX或ML-BOM等工具跟踪数据来源和变换，在模型开发的各个阶段验证数据合法性。
  2. 严格审查数据供应商，并对模型输出与可信来源进行验证，检测投毒迹象。
  3. 实施严格的沙箱机制限制模型接触未经验证的数据源，并通过异常检测技术过滤对抗性数据。
  4. 针对不同用例定制模型，通过特定数据集进行微调，提高输出的准确性。
  5. 确保有足够的基础设施控制措施，防止模型访问非预期的数据源。
  6. 使用数据版本控制（DVC）跟踪数据集的变更，检测潜在操控。版本控制对维护模型完整性至关重要。
  7. 将用户提供的信息存储在向量数据库中，允许调整数据而无需重新训练整个模型。
  8. 通过红队测试和对抗技术测试模型鲁棒性，例如通过联邦学习减少数据扰动的影响。
  9. 监控训练损失并分析模型行为，检测投毒迹象。设定阈值以识别异常输出。
  10. 在推理过程中结合检索增强生成（RAG）和让输出有据可依（grounding）的技术，减少幻觉风险。

示例攻击场景

场景1

攻击者通过操控训练数据或使用提示词注入技术，使模型输出产生偏向，借此传播虚假信息。

场景2

有毒数据未经适当过滤，可能导致有害或带偏见的输出，传播危险信息。

场景3

恶意行为者或竞争对手伪造文档用于训练，导致模型输出反映出这些不实信息。

场景4

过滤不充分，使攻击者能够通过提示词注入插入误导性数据，导致输出受到破坏。

场景5

攻击者利用投毒技术在模型中植入后门触发器，可能导致身份验证被绕过或数据外泄。

参考链接

  1. 数据投毒攻击如何破坏机器学习模型：CSO Online
  2. MITRE ATLAS（框架）Tay投毒：MITRE ATLAS
  3. PoisonGPT：我们如何在Hugging Face上藏入一个被篡改的LLM来传播假新闻：Mithril Security
  4. 指令调优期间的语言模型投毒：Arxiv White Paper 2305.00944
  5. 网络规模训练数据集投毒 - Nicholas Carlini | Stanford MLSys #75：Stanford MLSys Seminars YouTube Video
  6. ML模型库：下一个重大供应链攻击目标：OffSecML
  7. 针对数据科学家的恶意Hugging Face模型：JFrog
  8. AI模型的后门攻击：Towards Data Science
  9. 永不乏味（Never a dill moment）：利用机器学习的pickle文件：TrailofBits
  10. Sleeper Agents：训练在安全训练后仍保留欺骗行为的LLM：Anthropic（arXiv）

相关框架和分类

来源与许可

本页内容为《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版（OWASP Top 10 for LLM Applications & Generative AI 2025），OWASP GenAI Security Project 著，Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人；原文 https://genai.owasp.org/ （简体中文 PDF：https://genai.owasp.org/download/46125/ ），源文件 https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/99f4395589bdbd120ae961f9cd179e79d7f9b27f/2_0_vulns/translations/zh-CN 。依据 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）使用；API GET 调整了排版（标题层级、空行），并做了以下文字改动：序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异。本页同样以 CC BY-SA 4.0 发布。OWASP 及其标志是 OWASP Foundation, Inc. 的商标，本站与 OWASP 无关联，不代表其认可。

本章改动：标题层级整体提升一级（原文从二级标题开始）；标题“LLM04: 2025”改为“LLM04:2025”，与其他条目一致；开头加一行出处与许可说明（CC BY-SA 4.0）；2026-10-27 校对：对照英文原文修正误译与病句（描述首句、后门一段、grounding 不再译作“归因”、5 个场景等）；“提示注入”统一为“提示词注入”；5 条参考文献标题按原文重译；删去会显示在页面上的多余行尾反斜杠

我们根据 OWASP 的 GitHub 仓库（commit 99f4395）中的简体中文 Markdown 源文件，把序言和 10 个风险条目整理成 11 页，整理后的版本以 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）发布，任何人都可以按该许可转发和改编。改动如下：所有标题整体提升一级，使每页只有一个一级标题；LLM02“防范与缓解策略”下原本与它同级的六个小节降为下级标题；LLM07 两处引用块后补空行，避免后一句被并进引用块；序言中 Talesh Seeparsan 一段补了换行；序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异；每页开头加一行出处与许可说明。译文其余文字未改，“过度代理权限”（序言）与“过度授权”（LLM06 标题）的不一致按原文保留，只加了编者注。未收录 Supplemental_Content.md 和 PDF 版。2026-10-27 起，本库又对照同一 commit 的英文原文校对了全部 11 页：修正误译和不通顺的句子，按本库术语统一“提示词”“智能体”“大语言模型”等用语，并删去会在页面上显示成“\”的行尾反斜杠；各页的具体改动见“本章改动”。

原文许可文本出处与许可