Page 74
12 articles路由即产品：为什么你的低成本分类器比旗舰模型决定了更多行为
成本感知型 LLM 路由让低成本模型成为了大多数用户的实际产品面。如果你的评估体系仍聚焦于旗舰模型，那么你在 70% 的流量上都是盲目的 —— 这里有能解决该问题的“路由即产品”框架。
采样参数继承：当 0.7 的温度从规划器泄露到验证器时
将温度沿调用树向下传播的智能体框架，会将规划器的创意旋钮变成验证器的 Bug。本文探讨了基于角色的采样配置文件、默认拒绝继承，以及捕获此类泄露的分歧率评估。
Session Stitching：为什么你的会话 ID 是个谎言
框架交付的是会话 ID；而用户生活在任务中。两者之间的鸿沟导致了一半的智能体 UX 体验流失，解决方案是使用任务 ID，而不是延长会话时间。
你的影子评估集是一个合规性定时炸弹
生产追踪评估管道积累了用户从未被承诺会以这种方式处理的 PII。其修复方法是在写入边界进行清理、使用架构化类型的 span 以及基于标签的数据保留 —— 而不是在读取时使用正则表达式脱敏器。
影子 MCP：你的安全团队从未听说过的工具服务器已经在工程师的笔记本电脑上运行了
MCP 使得将开发者的笔记本电脑连接到准生产系统变得极其廉价。其产物是一个使用工程师现有凭据的环回套接字（loopback socket）——这对采购、CASB 和 SSO 日志来说是不可见的。在发生第一次数据泄露披露之前，必须建立发现和治理规程。
共享提示词的“夺旗日”：当一次修改引发三十个团队的性能回归
将安全前导语（safety preamble）集中化管理看起来像是典型的 DRY 原则胜利，直到第一次修改发布，导致三十个下游团队的评估指标暴跌。本文将探讨为什么共享提示词的行为类似于分布式系统，以及如何构建能够经受住“夺旗日”考验的治理框架。
投机采样（Speculative Decoding）是一项流式传输协议决策，而非推理优化
投机采样（Speculative Decoding）承诺在保持模型输出一致的前提下实现 3-6 倍的加速，但这种保证仅限于离开推理引擎的 Token —— 而非已经展示给用户的字节。当你通过流式传输尚未验证的草稿 Token 时，被拒绝的后缀必须撤回。哪些界面能够容忍撤回是一项产品决策，而推理团队往往很少考虑到这一范围。
AI 功能指标陷阱：为什么 DAU 和留存率在随机化表面 (Stochastic Surfaces) 上会产生误导
DAU、转化率和留存率是为点击流设计的。而 AI 功能产生的是任务弧 (Task Arcs) —— 请求、响应、后续、解决 —— 你从确定性策略指南中引入的仪表盘会告诉你该功能表现优异，但实际上用户正在绕过它。
你的 stop_reason 在说谎：构建生产环境故障排查真正需要的停止分类法
厂商提供的 stop_reason 值只给了你四个分类，但生产环境的故障排查通常需要八个。本文将介绍如何构建并行停止分类法，将黑盒式的终止转换为可调试的信号。
流式 JSON 解析器：Token 与类型化对象之间的鸿沟
JSON.parse 是全量或全无的，但 LLM 的 Token 流并非如此。为什么流式结构化输出是 API 和 SDK 必须共同解决的设计难题，以及一个真正的部分解析器必须具备哪些功能。
并行工具扇出的结构化并发：谁来负责部分失败？
大多数智能体框架将并行工具调用作为分离的 goroutine 运行，然后重新发现了结构化并发在二十年前就已经解决的失败模式 —— 部分失败、响应取消以及成本失控。
用于多轮 Agent 评估的合成用户：当你的测试固件需要“反击”时
单轮评估往往会忽略那些关键的多轮失败模式。具备人格、耐心预算和放弃阈值的 LLM 驱动用户模拟器每晚可以运行数千次对话 —— 但前提是模拟器与生产环境之间的差距是经过校准的，而非臆断。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
