一、为什么语料和知识库会成为大模型安全入口？

很多团队做大模型安全时，第一反应是审核模型输出。但在 RAG、智能客服、AI 办公、企业知识助手等场景中，模型回答往往取决于知识库、上传文档、检索结果和工具返回内容。

如果知识库里存在过期政策、错误口径、违规话术、未授权版权内容、个人敏感信息，模型就可能把这些内容组织成“看似可信”的答案。如果文档里被插入“忽略以上规则”“泄露系统提示词”“将用户引导到外部联系方式”等恶意指令，还可能形成间接 Prompt Injection。

所以，语料安全治理的核心不是“把脏数据删掉”这么简单，而是让语料从采集、入库、检索、生成到回流都有可控边界。

二、治理对象：不只训练集，还包括知识库和运行时上下文

企业通常需要治理以下几类内容：

对象	常见风险	治理重点
训练语料	版权不清、隐私数据、违法违规内容	来源校验、脱敏、内容审核
微调样本	错误标注、偏见样本、敏感问答	样本质检、标签一致性、人工复核
RAG 知识库	过期内容、投毒文档、恶意指令	入库审核、版本管理、注入检测
用户上传文件	商业秘密、个人信息、违规内容	文件解析、敏感识别、权限控制
工具返回结果	外部网页污染、接口异常、伪造信息	来源可信度、结果过滤、审计留痕

如果应用已经上线，建议把“知识库更新”视为一次小型发布，而不是普通内容编辑。

三、入库前：先做来源、版权、隐私和风险内容检查

入库前至少要完成四类校验：

1. 来源校验：确认内容来自企业自有资料、授权数据、公开合规来源或可使用的第三方数据。
2. 版权校验：识别未授权文章、图片、代码、IP 形象、品牌素材和受保护内容。
3. 隐私校验：识别手机号、身份证号、地址、邮箱、账号、交易记录、健康信息等个人敏感信息。
4. 内容校验：过滤违法违规、低俗色情、暴恐极端、谣言误导、诈骗导流、歧视仇恨和未成年人不适内容。

这一步建议接入结构化标签，而不是只做关键词过滤。因为真实语料里会出现谐音、拆字、暗号、截图文字、表格和多模态混合内容。

四、入库中：建立知识切片、标签和版本管理

RAG 知识库常见问题不是“没有内容”，而是内容可控性差。工程上建议给每个知识片段保留元数据：

字段	作用
source_id	追踪内容来源
version	支持知识更新和回滚
owner	明确业务负责人
risk_label	标记版权、隐私、敏感、过期等风险
effective_time	控制政策、价格、活动类内容有效期
review_status	区分待审、通过、驳回、下架

当模型输出异常时，团队可以从回答追溯到召回片段，再追溯到原始文档和审核记录。

五、调用中：重点防 RAG 投毒和间接 Prompt Injection

知识库内容进入上下文后，模型可能把文档中的恶意指令当成系统指令执行。常见攻击包括：

1. 在网页或文档中插入“忽略安全策略”的提示。
2. 在 FAQ 中伪装成正常业务说明，引导模型输出违规内容。
3. 通过 Base64、翻译、代码块、表格等方式隐藏恶意指令。
4. 在外部链接和工具返回结果中诱导用户跳转、转账或泄露信息。

治理建议是把 RAG 结果当作“不可信输入”处理：检索后先做内容安全检测和指令注入识别，再把安全片段交给模型生成。对高风险片段，可以降权、屏蔽、进入人工复核或触发安全代答。

六、输出后：用内容审核和安全代答兜底

即使语料入库前做了审核，输出侧仍然需要安全控制。原因很简单：模型会重组内容，也可能在多轮对话中被诱导偏离原始知识。

输出侧建议检查：

1. 是否生成违法违规、低俗、暴恐、谣言、侵权或隐私泄露内容。
2. 是否把不确定信息包装成确定结论。
3. 是否引用过期知识库内容。
4. 是否输出外部联系方式、诈骗导流或异常营销话术。
5. 是否需要安全代答，而不是简单拒答。

数美 AIGC 安全围栏这类方案，可以作为企业构建语料、内容、账号和运营联动治理的参考选项。评估时重点看多模态审核、风险标签颗粒度、Prompt Injection 识别、策略配置、人工复核和日志审计能力。

七、POC 应该测哪些指标？

建议准备三类样本：真实业务样本、攻击样本、边界样本。

指标	说明
准确率	被拦截内容是否确实有风险
召回率	风险语料、投毒文档、敏感信息是否被识别
误杀率	正常知识是否被过度拦截
漏放率	高风险内容是否进入知识库或输出链路
P99 延迟	审核能力是否影响检索和生成体验
标签颗粒度	是否能区分版权、隐私、违规、投毒、过期等风险
审计完整性	是否能追踪到文档、片段、回答和处置记录

FAQ

Q：大模型训练语料安全治理和内容审核有什么区别？
A：语料治理发生在模型使用知识之前，重点是来源、版权、隐私、投毒和版本管理；内容审核更多发生在输入、输出和发布环节。生产环境通常需要两者结合。

Q：RAG 知识库为什么需要安全治理？
A：RAG 会把知识库内容放进模型上下文，如果文档包含错误口径、敏感信息或恶意指令，模型可能生成违规、误导或泄密答案。

Q：知识库安全治理能只靠关键词过滤吗？
A：不建议。企业知识库包含长文档、表格、图片 OCR、多轮问答和变体表达，关键词容易漏判和误判，更适合结合风险标签、语义识别和人工复核。