LLM02:2025 敏感信息泄露

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理，以 CC BY-SA 4.0 发布。API GET 的改动：标题层级整体提升一级（原文从二级标题开始）；“防范与缓解策略”下的六个小节原文与它同级，本站降为它的下级标题。

描述

敏感信息可能涉及LLM本身及其应用场景，包括个人身份信息（PII）、财务细节、健康记录、商业机密数据、安全凭证以及法律文件。在专有模型中，独特的训练方法和源代码通常被视为敏感信息，尤其是在封闭或基础模型中。

LLM（尤其是嵌入在应用程序中的LLM）可能通过输出暴露敏感数据、专有算法或机密信息。这种情况可能导致未经授权的数据访问、隐私侵犯和知识产权泄漏。用户需要了解如何与LLM安全交互，并认识到无意间提供的敏感数据可能在模型输出中被披露的风险。

为了降低此类风险，LLM应用应执行充分的数据清理，防止用户数据进入训练模型。此外，应用所有者应提供清晰的使用条款，允许用户选择不让自己的数据被纳入训练模型。在系统提示词中限制LLM可以返回的数据类型，可以减少敏感信息泄露的可能性。然而，模型未必总会遵守这类限制，它们也可能被提示词注入或其他方法绕过。

常见漏洞示例

1. 个人身份信息（PII）泄露

与LLM交互时可能泄露个人身份信息（PII）。

2. 专有算法暴露

配置不当的模型输出可能揭示专有算法或数据。例如，在“Proof Pudding”攻击（CVE-2019-20634）中，训练数据泄漏被用于模型提取与逆向，攻击者得以绕过机器学习算法的安全控制。

3. 商业机密数据泄露

生成的响应可能无意中包含机密的商业信息。

防范与缓解策略

数据清理

1. 集成数据清理技术

执行数据清理技术以防止用户数据进入训练模型，包括在使用数据训练前对敏感内容进行清理或掩码处理。

2. 严格的输入验证

采用严格的输入验证方法，检测和过滤潜在的有害或敏感数据输入，确保其不会影响模型的安全性。

访问控制

1. 执行严格的访问控制

基于最低权限原则限制对敏感数据的访问，仅允许特定用户或进程访问所需数据。

2. 限制数据源

限制模型对外部数据源的访问，并确保运行时的数据编排得到安全管理，以免意外泄漏数据。

联邦学习与隐私技术

1. 使用联邦学习

使用分散存储在多台服务器或设备上的数据训练模型。这种去中心化的做法减少了集中收集数据的需要，也降低了数据暴露的风险。

2. 差分隐私技术

通过添加噪声保护数据或输出，使攻击者难以逆向还原单个数据点。

用户教育与透明度

1. 教育用户安全使用LLM

指导用户避免输入敏感信息，并就安全使用LLM的最佳实践开展培训。

2. 确保数据使用透明度

制定并维护清晰的政策，说明数据的保留、使用和删除方式，并允许用户选择不让自己的数据被用于训练。

系统安全配置

1. 隐藏系统前缀

限制用户覆盖或访问系统初始设置的能力，减少暴露内部配置的风险。

2. 遵循安全配置最佳实践

遵循如“OWASP API8:2023安全配置错误”中的指南，避免通过错误信息或配置细节泄露敏感信息。

高级技术

1. 同态加密

采用同态加密技术，实现安全的数据分析和隐私保护的机器学习，确保数据在模型处理中保持机密。

2. 令牌化与数据遮掩

通过令牌化技术对敏感信息进行预处理和清理；模式匹配等技术可以在处理之前检测并遮掩机密内容。

示例攻击场景

场景1：无意数据泄露

由于数据清理不足，用户收到的响应中包含了另一位用户的个人数据。

场景2：定向提示词注入

攻击者绕过输入过滤器，提取敏感信息。

场景3：训练数据导致的数据泄漏

训练时疏于把关，纳入了不该纳入的数据，导致敏感信息泄露。

参考链接

ChatGPT三星数据泄漏事件的教训 Cybernews
防止公司机密被输入ChatGPT的新工具 Fox Business
让ChatGPT无限重复“poem”一词，它吐出了敏感数据 Wired
利用差分隐私技术构建安全模型 Neptune Blog
Proof Pudding攻击（CVE-2019-20634） AVID

描述