那个把用户的字面问题“改写”没了的摘要器
对话摘要器会将旧的轮次压缩成改写后的文字，这往往会丢掉用户问题所依赖的核心动词，导致模型在第 41 轮对话时自信地回答了一个错误的问题。你应该把摘要器视为关键路径上的模型：锁定用户的确切原话，评估实体覆盖率，不要再让 Token 预算的旋钮来决定你的产品会忘记什么。
客户端估算的 Token 数量与供应商结算账单的差异
本地分词器估算值与供应商计费 Token 之间的细微漂移，通常只会被视为背景噪声，直到其在多语言内容、粘贴的代码以及工具 Schema 上集中体现 —— 此时财务部门会开始询问，为什么 AI 费用项与你自己的日志不再匹配。
你的延迟 SLO 取决于其他团队的 Prompt 大小
共享的每分钟 Token 数（TPM）限制使得你的延迟 SLO 与你自己的服务脱钩。解决方法是以提供商进行限流的单位来衡量内部容量，而不是以请求数或美元。
缓存击穿：这次冲击的是你的模型提供商，而不是数据库
当一个热门的 Prompt 前缀在整个集群中过期时，每个工作线程都会在同一瞬间成为缓存写入者 —— 曾经属于数据库的并发压力和账单，现在全都涌向了你的模型提供商。
确定性种子：为什么供应商将其视为“提示”而非“契约”
托管 LLM API 上的 seed 参数只是尽力而为的提示，而非契约。本文探讨了为什么字节级精确的 CI 断言会失效，以及你应该断言什么。
你的 Token 预测从未考虑过的重尾效应
基于试点的 Token 成本预测往往忽略了生产环境用户的重尾效应——账单通常由 P99 而非中位数决定。本文将探讨如何针对分布而非平均值进行定价。
你的编排器在规划步骤上消耗的延迟预算
智能体的大部分延迟都消耗在了决定下一步该做什么，而不是执行上。将规划器的开销视为一等公民的 SLO 指标，优化方向就会变得显而易见。
本地化系统提示词：模型表现为何比英文原版更差
将经过调优的英文系统提示词简单翻译成 14 种语言并不是真正的本地化 —— 这是一种没人重新测量的隐性评估回退。模型的指令遵循准确度会下降 8–22 个百分点，导致你的非英语用户得到的智能体经常忽略那些在英语环境下被遵守的约束条件。
擦除模型仍在读取的上下文：数据保留策略带来的隐患
一个每晚运行的删除作业正在清理你的提示词组装器在请求时读取的消息表。模型进入了一个被截断的对话，并自信地捏造了用户实际同意的 SLA。这个 Bug 存在于两个都认为自己拥有该表的团队之间。
与验证器共享盲点的自我修正循环
当生成器和验证器共享同一个模型时，自我修正只是自信心的放大器，而非错误过滤器。有界重试、异构裁判以及明确的人工接管是唯一的出路。
两个模型对同一结构化输出 Schema 的不同理解
两个大模型供应商可能都遵循同一个 JSON Schema，但生成的输出却无法互换 —— 这种差异通常在你第一次触发备选路由时显现。
误将假期低谷视为新基线的 Token 预测
落在假期低谷的四周滚动窗口，会导致在进入新季度的第一天就让 Token 预算崩溃。本文将探讨为什么 LLM 支出预测呈现的是消费者需求而非基础架构成本的形态，以及通过同比基线叠加、日历叠加和残差反馈循环，让容量规划在日历周期中维持稳健。