Page 21
12 articles对话的平方成本：为什么 AI 聊天支出呈超线性增长
一次 10 轮的对话成本大约是单轮对话的 55 倍，而非 10 倍，因为每一轮都会对整个历史记录重新计费。本文将分析 N 平方背后的数学原理、为什么缓存无法彻底解决问题以及如何对其进行限制。
演变成产品决策的速率限制
供应商配额不再仅仅局限于后端。当智能体在任务执行过程中达到每分钟 Token 数上限时，失败会直接反馈给用户 —— 因此，速率限制现在成了产品设计必须考虑的一部分。
自信地返回错误答案的语义缓存
语义缓存用精确匹配的保证换取了低延迟，而代价则是将误命中作为流畅的事实返回。本文将探讨如何衡量误命中率、选择 Embedding 模型、缓存检索而非生成，并将阈值调优作为一项安全决策。
影子 AI：你的团队已经上线的 AI 智能体
你的员工中有一半已经在运行未经批准的 AI 工具，而严厉打击只会让他们转入地下。为什么影子 AI 是官方路径缓慢的症状——以及一条更快的“铺就之路”如何解决这一问题。
流式回滚问题：你无法收回已发送的 Token
流式输出在任何护栏检查之前就已触达用户。本文将探讨为什么输出审核与 Token 流式传输在结构上存在冲突，以及如何通过缩短暴露窗口来应对这一问题，而非对其视而不见。
用户过早行动的流式 Token
逐个 Token 的流式传输让助手感觉响应迅速，但它也会将模型未完成的思考作为最终答案展示出来。本文将探讨导致这一问题的竞态条件以及解决该问题的设计模式。
结构化输出并非经过验证的输出
JSON 模式和受限解码只能保证 LLM 响应的形状，而非其含义。本文探讨了为什么通过 Schema 检查只是正确性工作的开始，以及语义验证真正的归宿。
每次事故后你的系统提示词都会增长 —— 而且没人会删掉任何一行
每一个生产事故都会在你的系统提示词中留下一句防御性语句，而且从来没人会删掉它们。本文将探讨为什么提示词积聚是真实的技术债，以及如何通过日期标记、半衰期和消融实验来修剪它。
任务完成率指标变绿，而用户却在默默受苦
94% 的任务完成率仪表板可能一直显示绿色，但与此同时 Agent 正在消耗大量 Token、反复回溯并让用户感到疲惫。为什么完成率是一个错误的指标，以及四个能洞察其盲点的轨迹指标。
那个由智能体编写的、实际上什么也没测的测试
编程智能体生成的测试套件能够通过测试、提高覆盖率，却抓不住任何 Bug。本文探讨了为什么智能体编写的测试会演变为同义反复，以及变异测试和红绿 TDD 准则如何让它们重新起到约束行为的作用。
当测试集泄露到微调中：你自己造成的污染
基准测试污染通常归咎于模型厂商，但最严重的泄露往往是你自己的团队造成的 —— 故障分流、合成数据以及共享的 RAG 语料库，这些因素正悄无声息地将评估案例转移到训练中。
那个记得你撤回了什么的智能体：将删除作为一等公民的记忆操作
只增（append-only）的智能体记忆存储在存储的事实失效的那一刻就开始腐烂。为什么删除、撤回和失效必须是一等公民操作 —— 以及如何设计可被查找、反驳和移除的记忆写入。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
