企业知识库能不能信：RAG 上线前的六类验证

01 文档已经上传，为什么答案仍然不可靠？

资料在一个存储位置，不意味着内容可以直接使用。重复版本、扫描质量、表格语义与适用范围都会影响检索。系统找到一段相似文字，也不代表它适合当前问题。

RAG 将检索结果提供给生成模型，但质量仍依赖资料、索引、检索与回答规则共同工作。定位问题时需要拆开这些环节，避免每次都只修改提示词。

为资料记录负责人、适用产品或组织、发布日期、失效时间与审批状态。对历史版本和新版本同时存在的情况，先明确使用规则，再检查系统是否遵守。

评估问题应包含“相同名称、不同年份”“相似产品、不同配置”等容易混淆的场景。来源足够明确，使用者才能理解答案的适用边界。

在评价最终回答前，先查看检索返回的片段。问题可以使用简称、口语、错别字或跨段信息，检查系统是否仍能找回必要依据。

若正确资料根本没有被检索到，应优先检查资料处理、切分、索引和检索策略；如果资料已经找到而回答错误，再排查生成与约束。将原因分层记录有助于准确改进。

“有引用”与“引用支持结论”是两件事。抽样审阅每个关键结论，判断原文是否真的提供对应事实，是否遗漏限制条件，是否把推测当作原文结论。

同一个问题，不同岗位可能应当看到不同材料。测试至少包含具有访问权限、没有权限和权限刚被撤回的用户，检查搜索结果、摘要、引用与导出是否一致遵守边界。

不能只在网页上隐藏链接。资料查询与业务工具本身都应验证身份和权限，模型输出不能成为绕过业务访问规则的新入口。

评估集应包含资料没有覆盖的问题、要求系统忽略规则的输入，以及从文档内部出现的指令性文字。资料内容是待使用的数据，不应改变系统应遵循的规则。

对于无答案场景，好的处理是提供可理解的说明、相关材料或人工入口。若为了提高“回答率”强迫所有问题给结论，就会损害使用者对系统的长期信任。

反馈按钮之后必须有处理流程。知识缺失应交内容负责人，检索问题交技术负责人，业务规则争议交业务负责人。反馈需要保留问题、答案、来源和版本，才有条件复现。

首期按真实问题类型构建样本，保留标准依据与评分说明，避免仅用开发人员容易想到的问题测试。后续把线上失败案例脱敏整理后补入评估集，使回归测试覆盖实际使用。

华为云的 RAG 评估实践同样将评估用于定位链路问题，而不仅输出一个分数。对企业而言，稳定的问题复盘和资料运营机制，与模型选择同样决定系统能否持续可用。