API GET API GET学习资料 · WorkBuddy 教程库

AI 学习资料 · OWASP 大语言模型应用 Top 10 安全威胁 2025(简体中文版)

LLM10:2025 无限资源消耗

OWASP Top 10 for LLM Applications & Generative AI 项目(OWASP GenAI Security Project)著;Ken Huang 黄连金 译,Talesh Seeparsan 翻译负责人CC BY-SA 4.0出处与许可 约 6 分钟

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理,以 CC BY-SA 4.0 发布。API GET 的改动:标题层级整体提升一级(原文从二级标题开始)。

描述

无限资源消耗指在大语言模型(LLM)根据输入的查询或提示词生成输出的过程中出现的资源滥用现象。推理是LLM的一项关键功能,通过应用已学得的模式和知识生成相关的响应或预测。

攻击者设计的某些攻击旨在中断服务、消耗目标的财务资源,甚至通过克隆模型行为窃取知识产权,这些都依赖于一类共同的安全漏洞才能实现。当LLM应用允许用户进行过多且不受控制的推理时,就会发生无限资源消耗,导致拒绝服务(DoS)、经济损失、模型被窃取及服务降级等风险。LLM的高计算需求,尤其是在云环境中,使其易受资源滥用和未经授权使用的影响。

常见漏洞示例

1. 可变长度输入泛滥

攻击者通过发送大量不同长度的输入,利用处理效率低下的问题。这会消耗大量资源,可能使系统无响应,从而严重影响服务可用性。

2. “钱包拒绝服务”(DoW)

攻击者通过大量操作利用基于云的AI服务的按使用量收费模式,造成提供方难以承受的财务负担,甚至可能导致财务崩溃。

3. 持续输入溢出

攻击者持续发送超过LLM上下文窗口限制的输入,导致计算资源过度使用,引发服务降级和运营中断。

4. 资源密集型查询

提交异常复杂的查询,例如复杂的语句或精细的语言模式,会消耗系统资源,导致处理时间延长甚至系统故障。

5. API模型提取

攻击者通过精心设计的输入和提示词注入技术查询模型API,从而收集足够的输出以复制部分模型或创建影子模型。这不仅会导致知识产权被窃取,还会削弱原模型的完整性。

6. 功能模型复制

攻击者利用目标模型生成合成训练数据,并用其微调另一基础模型,从而创建功能等价模型。这绕过了传统的基于查询的提取方法,对专有模型和技术构成重大风险。

7. 侧信道攻击

恶意攻击者可能通过利用LLM的输入过滤技术,执行侧信道攻击以提取模型权重和架构信息。这可能危及模型的安全性并导致进一步的利用。

预防和缓解策略

1. 输入验证

实施严格的输入验证,确保输入不超过合理的大小限制。

2. 限制Logits和Logprobs的暴露

限制或模糊化API响应中logit_bias和logprobs的暴露,仅提供必要信息,避免透露详细的概率。

3. 速率限制

应用速率限制和用户配额,以限制单一来源实体在特定时间内的请求数量。

4. 资源分配管理

动态监控和管理资源分配,防止单一用户或请求消耗过多资源。

5. 超时与节流

为资源密集型操作设置超时并限制处理时间,防止资源长时间占用。

6. 沙盒技术

限制LLM对网络资源、内部服务和API的访问。

  • 这对常见场景尤其重要,因为它涵盖了内部风险和威胁,并控制LLM应用对数据和资源的访问范围,是缓解或防止侧信道攻击的重要控制机制。

7. 全面日志记录、监控和异常检测

持续监控资源使用情况,并通过日志记录检测和响应异常的资源消耗模式。

8. 水印技术

实施水印框架,在LLM输出中嵌入水印,以便检测对输出的未授权使用。

9. 优雅降级

设计系统在高负载下优雅降级,保持部分功能而非完全故障。

10. 限制队列操作并实现弹性扩展

限制排队操作的数量和总操作量,同时结合动态扩展和负载均衡,确保系统性能稳定。

11. 对抗性鲁棒性训练

训练模型检测和缓解对抗性查询及提取企图。

12. 故障 token 过滤

建立已知故障 token(glitch token)列表,在把输出加入模型的上下文窗口之前先扫描输出。

13. 访问控制

实施强访问控制,包括基于角色的访问控制(RBAC)和最小权限原则,限制对LLM模型存储库和训练环境的未授权访问。

14. 集中式ML模型清单

使用集中式的ML模型清单或注册表来管理生产环境中使用的模型,确保适当的治理和访问控制。

15. 自动化MLOps部署

通过自动化MLOps部署,结合治理、跟踪和审批工作流,加强对基础设施中访问和部署的控制。

示例攻击场景

场景 #1: 不受控制的输入大小

攻击者向处理文本数据的LLM应用提交异常大的输入,导致过多的内存使用和CPU负载,可能使系统崩溃或严重降低服务性能。

场景 #2: 重复请求

攻击者向LLM API发送大量请求,消耗过多的计算资源,使合法用户无法访问服务。

场景 #3: 资源密集型查询

攻击者设计特定输入,触发LLM最耗资源的计算过程,导致CPU长期占用,甚至导致系统故障。

场景 #4: “钱包拒绝服务”(DoW)

攻击者生成大量操作,利用基于云的AI服务的按使用量收费模式,造成服务提供商的费用无法承受。

场景 #5: 功能模型复制

攻击者利用LLM API生成合成训练数据并微调另一模型,从而创建功能等价的模型,绕过传统的模型提取限制。

场景 #6: 绕过系统输入过滤

恶意攻击者绕过LLM的输入过滤技术和前置规则,执行侧信道攻击,将模型信息提取到其控制的远程资源中。

参考链接

  1. CVE-2019-20634: Proof Pudding AVID(moohax & monoxgas)
  2. arXiv:2403.06634 - 窃取生产环境语言模型的一部分: arXiv
  3. Runaway LLaMA:Meta的LLaMA NLP模型泄露事件: Deep Learning Blog
  4. 我知道你看到的:神经网络侧信道攻击: arXiv 白皮书
  5. 针对模型提取攻击的全面防御框架: IEEE
  6. Alpaca:强大且可复现的指令跟随模型: 斯坦福大学基础模型研究中心(CRFM)
  7. 水印如何帮助缓解LLM的潜在风险: KD Nuggets
  8. 保护AI模型权重:防止前沿模型被窃取和滥用: RAND Corporation
  9. 海绵样本:针对神经网络的能耗-延迟攻击: arXiv
  10. Sourcegraph API限制漏洞与拒绝服务攻击案例: Sourcegraph

相关框架和分类

以下框架和分类提供了关于基础设施部署、环境控制和其他最佳实践的信息、场景和策略:

来源与许可

本页内容为《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版(OWASP Top 10 for LLM Applications & Generative AI 2025),OWASP GenAI Security Project 著,Ken Huang 黄连金 译,Talesh Seeparsan 翻译负责人;原文 https://genai.owasp.org/ (简体中文 PDF:https://genai.owasp.org/download/46125/ ),源文件 https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/99f4395589bdbd120ae961f9cd179e79d7f9b27f/2_0_vulns/translations/zh-CN 。依据 CC BY-SA 4.0(https://creativecommons.org/licenses/by-sa/4.0/)使用;API GET 调整了排版(标题层级、空行),并做了以下文字改动:序言“(LLM)”补齐为“(LLM)”;LLM01 场景 #7 的繁体字“導致”改为“导致”;LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”;LLM04 标题“LLM04: 2025”改为“LLM04:2025”;LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”;LLM05 一条参考链接去掉跟踪参数;序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异。本页同样以 CC BY-SA 4.0 发布。OWASP 及其标志是 OWASP Foundation, Inc. 的商标,本站与 OWASP 无关联,不代表其认可。

本章改动:标题层级整体提升一级(原文从二级标题开始);开头加一行出处与许可说明(CC BY-SA 4.0);2026-10-27 校对:glitch token 不再译作“故障令牌”,按术语表保留 token;“中央化”改为“集中式”,“大型语言模型”统一为“大语言模型”,“提示”统一为“提示词”;修正水印一条与场景 3、6 的病句;参考文献 1 的“Proof of Pudding”改为“Proof Pudding”,另有 4 条标题重译

我们根据 OWASP 的 GitHub 仓库(commit 99f4395)中的简体中文 Markdown 源文件,把序言和 10 个风险条目整理成 11 页,整理后的版本以 CC BY-SA 4.0(https://creativecommons.org/licenses/by-sa/4.0/)发布,任何人都可以按该许可转发和改编。改动如下:所有标题整体提升一级,使每页只有一个一级标题;LLM02“防范与缓解策略”下原本与它同级的六个小节降为下级标题;LLM07 两处引用块后补空行,避免后一句被并进引用块;序言中 Talesh Seeparsan 一段补了换行;序言“(LLM)”补齐为“(LLM)”;LLM01 场景 #7 的繁体字“導致”改为“导致”;LLM03“许可风险”一段补一个逗号、“Open AI”改为“OpenAI”;LLM04 标题“LLM04: 2025”改为“LLM04:2025”;LLM09 参考链接“Arvix”改为“arXiv”、“Victor Debia”改为“Victor Dibia”;LLM05 一条参考链接去掉跟踪参数;序言加一条编者注说明 LLM06 等条目在序言与正文中的译名差异;每页开头加一行出处与许可说明。译文其余文字未改,“过度代理权限”(序言)与“过度授权”(LLM06 标题)的不一致按原文保留,只加了编者注。未收录 Supplemental_Content.md 和 PDF 版。2026-10-27 起,本库又对照同一 commit 的英文原文校对了全部 11 页:修正误译和不通顺的句子,按本库术语统一“提示词”“智能体”“大语言模型”等用语,并删去会在页面上显示成“\”的行尾反斜杠;各页的具体改动见“本章改动”。