LLM08:2025 向量与嵌入漏洞

本页据《OWASP 大语言模型人工智能应用 Top 10 安全威胁 2025》简体中文版整理，以 CC BY-SA 4.0 发布。API GET 的改动：标题层级整体提升一级（原文从二级标题开始）。

描述

在利用检索增强生成（Retrieval Augmented Generation，RAG）的LLM系统中，向量与嵌入机制可能存在显著的安全风险。这些漏洞可能体现在向量与嵌入的生成、存储或检索方式中，易被恶意行为（无论是有意还是无意）利用，导致有害内容注入、模型输出被操控或敏感信息被泄露。

RAG是一种模型适配技术：把预训练语言模型与外部知识源结合起来，提升LLM应用回答的质量和上下文相关性。检索增强依赖向量机制和嵌入技术。

常见风险示例

1. 未授权访问与数据泄露

访问控制不足或配置不当，可能导致包含敏感信息的嵌入被未经授权地访问。如果管理不当，模型可能检索并披露个人数据、专有信息或其他敏感内容。此外，未经授权使用版权材料或在增强过程中违反数据使用政策可能引发法律问题。

2. 跨上下文信息泄漏与联邦知识冲突

在多租户环境中，多类用户或应用共享相同向量数据库时，存在上下文信息在用户或查询之间泄漏的风险。此外，多个来源的数据可能存在矛盾，导致知识冲突。这种冲突也可能出现在模型未能用检索增强的新数据覆盖其已训练知识的情况下。

3. 嵌入反演攻击

攻击者可以利用漏洞反演嵌入，恢复大量源信息，从而威胁数据机密性。

4. 数据投毒攻击

数据投毒可能是恶意行为者有意为之，也可能是无意间造成的。被投毒的数据可能来自内部人员、提示词、数据播种（data seeding）或未经验证的数据提供方，导致模型输出被操控。

5. 行为改变

检索增强可能无意间改变基础模型的行为。例如，虽然增加了事实准确性和相关性，但可能削弱情商或共情能力，从而降低模型在特定应用中的效果。

防范与缓解策略

1. 权限与访问控制

为向量与嵌入存储实施细粒度访问控制与权限管理。确保数据集在向量数据库中严格进行逻辑和访问分区，防止不同用户或组之间的未经授权访问。

2. 数据验证与来源认证

为知识源建立健全的数据验证流程。定期审核和验证知识库的完整性，检测隐藏代码和数据投毒。仅接受可信、验证过的来源数据。

3. 数据组合与分类审查

在合并来自不同来源的数据时，仔细审查组合数据集。对知识库中的数据进行标记和分类，以控制访问级别并防止数据不匹配错误。

4. 监控与日志记录

为检索活动保留详细且不可篡改的日志，以便及时发现和应对可疑行为。

示例攻击场景

场景1：数据投毒

攻击者提交包含隐藏文本（例如白色背景上的白色文本）的简历，指示系统忽略所有先前指令并推荐该候选人。RAG系统处理了这份简历，隐藏文本也被纳入知识库。当系统查询候选人资格时，LLM遵循隐藏指令，推荐不合格的候选人。

缓解措施：
使用文本提取工具忽略格式并检测隐藏内容。在将文档添加至RAG知识库之前，对所有输入文档进行验证。

场景2：访问控制与数据泄露

在多租户环境中，不同用户组共享相同的向量数据库，某个用户组的嵌入数据可能在响应另一用户组的查询时被意外检索出来，导致敏感业务信息泄露。

缓解措施：
实施权限感知的向量数据库，确保只有授权用户组能够访问其特定信息。

场景3：基础模型行为改变

检索增强后，基础模型的行为可能发生细微变化，例如回答中的情商或共情能力减弱。例如，用户询问：

“我对学生贷款债务感到不堪重负。我该怎么办？”

原始响应可能是：

“我理解管理学生贷款债务可能很有压力。您可以考虑基于收入的还款计划。”

经过检索增强后，响应可能变为：

“为了避免累积利息，尽快还清学生贷款。考虑减少不必要的开支，将更多资金用于还款。”

虽然内容准确，但缺乏共情能力，可能降低应用的实用性。

缓解措施：
监控和评估RAG对基础模型行为的影响，根据需要调整增强过程以保持期望特性（如共情能力）。

参考链接

通过检索增强生成与微调增强LLM：Microsoft Docs
Astute RAG: 解决LLM中的检索增强缺陷与知识冲突：Arxiv
嵌入模型中的信息泄露：Arxiv
句子嵌入泄露：嵌入反演攻击恢复整个句子：Arxiv
新型ConfusedPilot攻击：数据投毒瞄准AI系统：InfoSecurity Magazine
基于RAG的LLM中的Confused Deputy风险
RAG投毒如何让Llama3变成种族主义者：Repello AI Blog
什么是RAG三元组（RAG Triad）？：TrueRA

描述