Page 37
12 articles快照追踪测试：将生产环境追踪作为你的回归测试套件
人工筛选的 LLM 评估集在用户行为发生变化的瞬间就会失效。固定生产环境追踪，对输出进行语义等价断言，对工具调用进行结构化相等断言，并使用延迟区间而非点估计。
停止序列的“自毁”陷阱：当用户输入与分隔符发生冲突
在工程示例中表现良好的停止序列，一旦与用户内容混合，就会变成无形的潜在隐患。本文将探讨该 Bug 的表现形式、为何评估套件难以发现它，以及如何通过保留命名空间来防止其再次发生。
流式结构化输出：为什么你的解析器会在第 47 个 Token 处卡住
Token 流式传输与结构化输出在架构上是相互矛盾的。天真的 try/catch JSON.parse 循环复杂度为 O(n²)，is_complete 布尔值是个谎言，而部分枚举则是 Delete 工具在 DeleteIfEmpty 上误触发的原因。
总结税：当压缩消耗的 Token 超过了它节省的量
长期运行的 Agent 在溢出或层级化处理时会触发摘要生成，而在大规模应用中，压缩过程会悄然成为主要的推理成本——而仪表盘永远不会告诉你这一点。
对正确答案的点踩：当用户反馈训练出谄媚行为
点踩评分将“错误”与“不受欢迎”混为一谈。针对原始信号优化提示词训练出的是迎合而非准确性——而且这种数学偏差会随规模扩大而恶化。
Token 感知型日志：当你的追踪成本超过其观测的推理成本时
AI Agent 的遥测流水线现在的预算开销已经超过了它们所观测的 LLM 调用。本文介绍了一个逐字段的成本模型——包括 Prompt 指纹识别、基于结果的采样、分级存储——旨在将观测成本控制在合理的服务成本 (COGS) 范围内。
工具目录中的依赖炸弹：为什么增加一个工具会破坏五个智能体
在智能体的工具目录中添加新工具会重新分配规划器在每个条目上的选择概率，从而在静默中重定向那些你的评估套件从未想过要测试的工作流。
我们已经有了：当 AI 功能在重新造你已有的代码轮子
在成熟的公司中，大多数 AI 功能其实是在重复代码库中已有的逻辑。解决方法是在开发前进行审计，并采用一种组合模式，让模型成为备选路径而非首选路径。
每个开放 RAG 系统自带的攻击向量
当用户可以向你的知识库贡献内容时，他们并不是唯一的写入者。在 260 万个条目的语料库中，仅需 5 份恶意文档即可实现 97% 的攻击成功率 —— 且流水线不会显示任何错误。
孤儿微调：基础模型废弃后如何恢复领域专业知识
当基础模型被废弃时，微调后的领域专业知识不会自动迁移。三条恢复路径——行为蒸馏、重新标注和提示编码——以及提前规划的重要性。
LLM 输出的统计水印：Token Logit 偏置如何创建可检测的签名
LLM 文本水印在推理阶段将统计可检测的签名嵌入 token logit 概率中。本文介绍绿/红名单方案的工作原理、Google SynthID-Text 为何属于半脆弱性水印，以及生产工程师在将水印用于合规或归因之前需要了解的关键信息。
80% 陷阱：聚合 RAG 指标如何掩盖系统性长尾失效
报告 80% 检索准确率的 RAG 系统往往掩盖了长尾查询中的系统性失效。本文将探讨如何审计覆盖范围缺口，并在不降低头部性能的情况下进行修复。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
