Page 15
12 articles提示词 Diff 隐藏了自身的爆炸半径
一个三个单词的提示词修改和一段三个段落的重写在文本 Diff 中看起来并无二致，但其行为后果却大相径庭。为什么提示词审查需要评估增量，而不是字符计数。
重提率：你的评估流水线从未提取出的失败信号
在会话中重复同一个问题的用户是在告诉你之前的回答失败了——但回合级评估和会话结束时的 CSAT 都会忽略这一点。本文将介绍如何将重提率作为核心指标进行检测。
Shadow Replay 会惩罚那些本可以改变对话走向的模型
Shadow Replay 评估会悄悄地惩罚更好的模型，因为它根据旧模型引导下的用户对话记录来给新模型评分。本文将探讨其中的原因，以及影子回放仍然可以真实衡量哪些指标。
流式 Token 是无法收回的承诺
当背后的工具调用失败时，原本自信的流式回答就会崩溃。流式传输是一种不可逆的契约 —— 有一些模式可以在不牺牲感知延迟的情况下重新获得选择权。
那个把上周 Slack 消息当成昨天消息来读的智能体
一个智能体检索到一条 6 周前写的“我们明天发布”的消息，并将其视为当前的计划。检索流水线保留了正文，却弄丢了时钟。
停不下来的 Agent：作为运行时故障模式的范围蔓延
Agent 修复了 Bug，然后继续运行——重构周围的代码、扩大范围、消耗大量 Token。这是一份关于在范围蔓延演变成静默故障模式之前，如何为 Agent 任务设计停止标准、步数预算和“完成”信号的指南。
用户终将学会忽略的置信度评分
LLM 回答旁边的置信百分比是一份你通常无法兑现的信任契约。在经历了几次失准的 90% 评分后，用户便学会了忽略这个测量计——而摆在面前的只有三种诚实的设计方案。
演示成功是因为有人在看：会话长度是你的评测套件遗漏的那个维度
五轮的演示掩盖了在第二十八轮才会出现的误差累积、注意力漂移和承诺粘性。把会话长度当作一等评测维度来对待，否则你交付的可靠性数字，用户其实已经见过它的另一个版本。
语义过时的 Embedding：当向量不再理解当下
随着现实世界的词汇演变，嵌入式知识库正在悄然失效。召回率仪表板往往会忽略这一点，因为它们仍基于过时的相似性定义进行评分。
填充式工具调用：当智能体在表演勤奋而不是真正干活
生产环境中的智能体不断发出对答案毫无影响的工具调用——烧掉 token、拖慢延迟、损害准确率。本文讲清楚填充式调用是如何从训练中长出来的、它真正的成本是多少，以及如何用反事实测量和调用预算把它从工作流里剔除出去。
聚合指标隐藏的首次用户断崖
AI 功能的聚合指标往往看起来健康,但新用户却在一两次尝试后就流失。本文剖析首次用户断崖如何隐藏在你的指标中,以及消除它的几种模式。
没人接线的紧急开关：因为功能从未失效
发布标志会被清理，但紧急开关不会。为什么每个 AI 功能都需要持久的运行时禁用机制、预先确定的备选链，以及一个明确标注了控制杠杆的运行手册。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
