Page 6
12 articles你发出的流式中止信号，供应商照样收了费：账单中隐藏的 14% 差额
你的停止按钮触发了 AbortController.abort()，但供应商会持续生成直到下一个批处理边界，并对差额部分计费。这种差额是一个可衡量的工程问题，且涉及财务责任。
那些将模型未完成的残缺回答存入数据库的流式 UI
当流在生成中途报错时，乐观写入的内容可能会变成正式记录。本文探讨了为什么聊天 UI 会将残缺回答误认为完整答案，以及修复该问题的“定稿契约”。
那个把用户的字面问题“改写”没了的摘要器
对话摘要器会将旧的轮次压缩成改写后的文字，这往往会丢掉用户问题所依赖的核心动词，导致模型在第 41 轮对话时自信地回答了一个错误的问题。你应该把摘要器视为关键路径上的模型：锁定用户的确切原话，评估实体覆盖率，不要再让 Token 预算的旋钮来决定你的产品会忘记什么。
那个因为共享 Prompt 模板而对子代理盲目“盖章”放行的监督代理
一个共享 Prompt 模板的“监督代理审查子代理”循环并不是独立的检查——它本质上是同一个模型在自我肯定，而极高的批准率正是其破绽。
你在供应商支持呼叫中通过屏幕共享泄露的系统提示词
系统提示词保护方案加固了应用程序边界，却忽略了屏幕像素。泄露面覆盖了你的工程师参与的每一次屏幕共享、Loom 录制和供应商支持呼叫。
那个通过后门污染了你评估集的点赞按钮
隐式的点赞反馈会使你的评估集向点击人群倾斜，而偏离了付费人群。本文将详细分析这种泄漏是如何发生的，以及如何围绕它进行治理。
客户端估算的 Token 数量与供应商结算账单的差异
本地分词器估算值与供应商计费 Token 之间的细微漂移，通常只会被视为背景噪声，直到其在多语言内容、粘贴的代码以及工具 Schema 上集中体现 —— 此时财务部门会开始询问，为什么 AI 费用项与你自己的日志不再匹配。
使所有 Prompt 缓存前缀失效的分词器升级
一次分词器的变更可能会在其他所有信号显示正常的情况下，让你的 Prompt 缓存命中率在一夜之间从 80% 跌至个位数。本文将探讨哪些环节会出问题、为什么这种现象难以察觉，以及你应该监控哪些指标。
与工具本身脱节的工具描述
当工具的 JSON Schema 和其文本描述存放在不同位置时，它们会各自独立演进并产生偏差 —— 导致模型遵循了描述中的错误，而这些错误本可以通过 Schema 捕获。本文将探讨为什么工具描述是你有效系统提示词的一部分，以及如何确保它们的真实性。
导致你的智能体重试机制失效两周的工具 Schema 迁移
为期六周的弃用窗口对每一位人类消费者都运作完美，却让智能体静默失效了整整十四天。本文探讨了重试预算、解析错误和优雅降级为何会交织成一场无人报警的故障，以及捕获这些问题的关键指标。
你的网关在 LLM 调用与工具执行之间丢失的 traceparent 请求头
生产环境中的 LLM 智能体技术栈经常在模型调用与工具执行之间丢失 W3C traceparent 请求头，导致原本连贯的用户交互逻辑碎裂成一堆“孤儿追踪”森林 —— 本文将揭示泄漏发生的环节以及如何修复它。
供应商重新校准后，你的智能体所信任的转录置信度得分
针对特定 ASR 模型调整的置信度阈值是与该特定校准达成的契约。当供应商重新训练置信度头（confidence head）时，相同的数值意味着不同的含义 —— 你的准入闸口也在悄然松动。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
