·tian
即使你发誓绝不分享，你的评估集仍需要的水印
私有评估集会像其他任何东西一样泄露 —— 通过 Bug 票据、Slack 粘贴、供应商流水线和调试日志。请为它们添加水印，以便在下一次模型升级到来时，你能分辨出真实的性能提升与污染造成的假象。
insider
evals
ai-engineering
benchmarks
+1·tian
悄然渗入你提示词中的评估集
少样本检索和共享的 CSV 文件如何悄无声息地将精心准备的评估库变成你提供给模型的上下文示例——以及如何通过存储层隔离来阻止这一切。
insider
llm-evaluation
prompt-engineering
mlops
+2·tian
基准测试泄露：你的评估集是如何悄悄加入训练语料库的
公开的 LLM 基准测试正悄然变成训练数据，并导致评分虚高 5–15 分。本文将介绍实用的污染审计方法（n-gram、金丝雀字符串、留存测试），以及你的评估团队不愿执行这些审计的组织层面原因。
llm-evaluation
benchmarks
contamination
ai-engineering