API GET API GET学习资料 · WorkBuddy 教程库
API GET 官网 去用 WorkBuddy 自定义模型

AI 学习资料 · OWASP 大语言模型应用 Top 10 安全威胁 2025（简体中文版）

LLM09:2025 信息误导

OWASP Top 10 for LLM Applications & Generative AI 项目（OWASP GenAI Security Project）著；Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人CC BY-SA 4.0出处与许可 约 5 分钟

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理，以 CC BY-SA 4.0 发布。API GET 的改动：标题层级整体提升一级（原文从二级标题开始）；参考链接 8 的来源名“Arvix”改为“arXiv”；参考链接 10 的作者名“Victor Debia”改为“Victor Dibia”（与链接地址一致）。

描述

LLM（大语言模型）生成的信息误导对依赖这些模型的应用程序构成了核心漏洞。当LLM生成看似可信但实际错误或具有误导性的信息时，就会导致信息误导。这种漏洞可能引发安全漏洞、声誉损害和法律责任。

信息误导的主要原因之一是“幻觉”（Hallucination）现象，即LLM生成看似准确但实际上是虚构的内容。当LLM基于统计模式填补训练数据的空白而非真正理解内容时，就会发生幻觉。因此，模型可能会生成听起来正确但完全没有根据的答案。尽管幻觉是信息误导的主要来源，但并非唯一原因；训练数据中的偏差以及信息的不完整性也会导致信息误导。

另一个相关问题是“过度依赖”。用户对LLM生成的内容过于信任而未能验证其准确性时，就会出现过度依赖。这种过度依赖加剧了信息误导的影响，因为用户可能会将错误数据融入到关键决策或流程中，而缺乏充分的审查。

常见风险示例

1. 事实性错误

模型生成错误的陈述，导致用户基于错误信息做出决策。例如，加拿大航空的聊天机器人向旅客提供了错误信息，导致运营中断和法律纠纷。最终航空公司败诉。
(参考链接：BBC)

2. 无依据的主张

模型生成了毫无根据的断言，这在医疗或法律等敏感场景中特别有害。例如，ChatGPT虚构了假的法律案件，在法庭上引发了严重问题。
(参考链接：LegalDive)

3. 专业能力的错误呈现

模型给人一种理解复杂主题的错觉，误导用户高估其专业水平。例如，有研究发现聊天机器人会错误地呈现健康问题的复杂程度，在本无争议之处暗示存在不确定性，误导用户以为一些缺乏依据的疗法仍有争议、尚无定论。
(参考链接：KFF)

4. 不安全的代码生成

模型建议使用不安全或不存在的代码库，这可能在软件系统中引入漏洞。例如，LLM建议使用不安全的第三方库，如果未经验证就信任并使用，将带来安全风险。
(参考链接：Lasso)

预防和缓解策略

1. 检索增强生成（RAG）

通过在响应生成过程中从可信外部数据库检索相关和已验证的信息，提升模型输出的可靠性，以降低幻觉和信息误导的风险。

2. 模型微调

通过微调或嵌入技术提高模型输出质量。使用参数高效微调（PET）和思维链提示（Chain-of-Thought Prompting）等技术可以减少信息误导的发生。

3. 交叉验证与人工监督

鼓励用户通过可信的外部来源验证LLM输出的准确性。针对关键或敏感信息，实施人工监督和事实核查流程。确保人类审核员经过适当培训，以避免过度依赖AI生成内容。

4. 自动验证机制

采用工具和流程自动验证关键输出，尤其是高风险环境中的输出。

5. 风险沟通

识别LLM生成内容的风险和可能的危害，并将这些风险和限制清晰传达给用户，包括可能出现信息误导的情况。

6. 安全编码实践

建立安全编码实践，防止因错误代码建议而引入的漏洞。

7. 用户界面设计

设计鼓励负责任使用LLM的API和用户界面，例如整合内容过滤器，明确标注AI生成的内容，并告知用户内容的可靠性和准确性限制。明确说明预期的使用领域及其限制。

8. 培训和教育

为用户提供LLM局限性、生成内容独立验证重要性以及批判性思维的综合培训。在特定场景下，提供领域特定培训，确保用户能够在其专业领域内有效评估LLM的输出。

示例攻击场景

场景 #1

攻击者使用流行的编码助手测试常见的幻觉包名称。一旦识别出这些频繁建议但实际上不存在的库，攻击者就用这些名称把恶意包发布到常用的软件包仓库中。开发者依赖编码助手的建议，无意间将这些恶意包集成到他们的软件中。最终，攻击者获得未授权访问权限，注入恶意代码或建立后门，导致严重的安全漏洞和用户数据的泄露。

场景 #2

某公司提供的医疗诊断聊天机器人未确保足够的准确性，导致患者因错误信息受到伤害。最终公司被起诉并被判赔偿损失。在这种情况下，风险不需要恶意攻击者的参与，仅由于LLM系统的监督和可靠性不足就使公司面临声誉和财务风险。

参考链接

  1. 人工智能聊天机器人作为健康信息来源：专业能力的错误呈现: KFF
  2. 加拿大航空聊天机器人信息误导：旅客需要知道什么: BBC
  3. ChatGPT虚构法律案件：生成式AI幻觉: LegalDive
  4. 理解LLM幻觉现象: Towards Data Science
  5. 公司应如何向用户说明大语言模型的风险: TechPolicy
  6. 某新闻网站使用AI撰写文章：一场新闻业的灾难: Washington Post
  7. 深入了解AI软件包幻觉: Lasso Security
  8. ChatGPT生成的代码有多安全？: arXiv
  9. 如何减少大语言模型的幻觉: The New Stack
  10. 减少幻觉的实践步骤: Victor Dibia
  11. 探索AI介导的企业知识所带来后果的框架: Microsoft

相关框架与分类

请参考以下框架和分类，以获取关于基础设施部署、环境控制以及其他最佳实践的全面信息、场景和策略。

来源与许可

本页内容为《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版（OWASP Top 10 for LLM Applications & Generative AI 2025），OWASP GenAI Security Project 著，Ken Huang 黄连金 译，Talesh Seeparsan 翻译负责人；原文 https://genai.owasp.org/ （简体中文 PDF：https://genai.owasp.org/download/46125/ ），源文件 https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/99f4395589bdbd120ae961f9cd179e79d7f9b27f/2_0_vulns/translations/zh-CN 。依据 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）使用；API GET 调整了排版（标题层级、空行），并做了以下文字改动：序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异。本页同样以 CC BY-SA 4.0 发布。OWASP 及其标志是 OWASP Foundation, Inc. 的商标，本站与 OWASP 无关联，不代表其认可。

本章改动：标题层级整体提升一级（原文从二级标题开始）；参考链接 8 的来源名“Arvix”改为“arXiv”；参考链接 10 的作者名“Victor Debia”改为“Victor Dibia”（与链接地址一致）；开头加一行出处与许可说明（CC BY-SA 4.0）；2026-10-27 校对：对照英文原文修正“专业能力的错误呈现”一节的误译（原文是模型给人理解复杂主题的错觉、在本无争议处暗示不确定性）；“提供了信息误导”等搭配改为“错误信息”；“大型语言模型”统一为“大语言模型”，“链式思维提示”改为“思维链提示”；修正几处病句和 3 条参考文献标题

我们根据 OWASP 的 GitHub 仓库（commit 99f4395）中的简体中文 Markdown 源文件，把序言和 10 个风险条目整理成 11 页，整理后的版本以 CC BY-SA 4.0（https://creativecommons.org/licenses/by-sa/4.0/）发布，任何人都可以按该许可转发和改编。改动如下：所有标题整体提升一级，使每页只有一个一级标题；LLM02“防范与缓解策略”下原本与它同级的六个小节降为下级标题；LLM07 两处引用块后补空行，避免后一句被并进引用块；序言中 Talesh Seeparsan 一段补了换行；序言“（LLM)”补齐为“（LLM）”；LLM01 场景 #7 的繁体字“導致”改为“导致”；LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”；LLM04 标题“LLM04: 2025”改为“LLM04:2025”；LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”；LLM05 一条参考链接去掉跟踪参数；序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异；每页开头加一行出处与许可说明。译文其余文字未改，“过度代理权限”（序言）与“过度授权”（LLM06 标题）的不一致按原文保留，只加了编者注。未收录 Supplemental_Content.md 和 PDF 版。2026-10-27 起，本库又对照同一 commit 的英文原文校对了全部 11 页：修正误译和不通顺的句子，按本库术语统一“提示词”“智能体”“大语言模型”等用语，并删去会在页面上显示成“\”的行尾反斜杠；各页的具体改动见“本章改动”。

原文许可文本出处与许可