源头受污:RAG 语料库衰减与向量存储的数据治理
· 阅读需 12 分钟
你的 RAG 系统在上线时运行良好。三个月后,它在三分之一的用户查询中自信地给出了错误答案——而你的追踪日志显示一切正常。检索器在抓取文档,模型在生成回复,整个流水线看起来健康运转。问题是不可见的:向量存储中的每个向量依然有相似度分数,但其中一半已经指向了不再存在的事实。
这就是语料库衰减。它不会抛出异常,不会触发告警,而是在后台悄无声息地积累。等你通过用户投诉或质量下滑察觉到时,你的向量存储已经变成了一个负担。
你的 RAG 系统在上线时运行良好。三个月后,它在三分之一的用户查询中自信地给出了错误答案——而你的追踪日志显示一切正常。检索器在抓取文档,模型在生成回复,整个流水线看起来健康运转。问题是不可见的:向量存储中的每个向量依然有相似度分数,但其中一半已经指向了不再存在的事实。
这就是语料库衰减。它不会抛出异常,不会触发告警,而是在后台悄无声息地积累。等你通过用户投诉或质量下滑察觉到时,你的向量存储已经变成了一个负担。
微调模型上线六个月后,监管机构问道:"哪些训练样本来自已撤回同意的用户?"你翻开一张电子表格,搜遍 Slack 归档,最终靠标注批次邮件和一份自第一个冲刺后就未更新的 README 来重建历史。这是常态,而非例外。对 44 个主要指令微调数据集的审计发现,超过 70% 的许可证标记为"未指定",许可证类别实际应用的错误率超过 50%。溯源问题是结构性的,而且总在你最承受不起的时候爆发。
本文讲的是在需要之前就建立微调数据溯源注册表——包括模式设计、驱动需求的审计场景,以及使其可操作而不变成额外负担的生产模式。