Page 25
12 articlesAI 功能的自带密钥 (BYOK)：没人预估过成本的销售驱动型架构重构
BYOK 看起来只是一个身份验证开关，但它同时改变了你的信任、成本和运营边界。以下是大多数团队低估了的架构工作。
组合性税收：为什么增加工具会让你的规划器性能下降
你添加的每一个工具都会使规划器的准确率曲线向下弯曲。解决方案是引入一个退役指标 —— 频率 × 成功率 × 下游提升 —— 并设立单一的目录所有者。
无故障停机情况下的面向客户 AI 质量退化复盘指南
状态页显示正常，错误率为零，但客户依然不满意。这是一份关于在没有发生系统崩溃时编写 AI 质量退化复盘报告的实战指南——涵盖了根因术语、严重程度分级以及闭环后续跟进的节奏。
你的销售团队正在悄悄运行的演示账户评估集
销售演示账户是一个对业务至关重要但无人管理的评估集 —— 它们往往是模型迁移悄无声息地毁掉价值六位数潜在客户演示的原因。本文将介绍如何将它们转变为一等公民级别的发布门禁模式。
当市场部阅读你的评估案例时：跨职能可见性问题
你的评估集会被销售、市场、法务和客户成功部门查阅 —— 并且他们每个人从中提取的产物都与你的初衷不同。在客户从采购幻灯片中认出自己的投诉之前，请构建好“工程版”与“可共享版”的评估集隔离。
AI 工程师的前 90 天：一份在六周文档失效期内依然有效的入职指南
一份为 AI 工程师准备的 90 天入职计划，用观摩 Eval 评审、受监督的 Prompt 差异比对和端到端裁判模型校准，取代陈旧的架构文档。
免费层级流量才是你真实的评估集
针对付费用户队列的追踪记录来对 LLM 进行评分，实际上是在针对简单的分布进行评分。仍在犹豫是否升级的群体主要集中在免费层级 —— 而评估集往往忽略了这一点。
GPU 算力是产品路线图的约束：决定第三季度的 18 个月合同
多年期 GPU 承诺悄然将产品路线图与那些从未见过功能列表的人所做的容量决策绑定在一起。这里是弥合这一差距的规划准则。
内部评估集：一个无人审查的隐私边界
AI 团队通常根据生产环境的对话来评估模型，并将其称为内部数据集。根据目的限制原则，这其实是一个未经审查的独立数据处理环节。
延迟感知工具选择：当“当下的足够好”优于“未来的最出色”
智能体提示词中的静态工具描述在实时延迟和错误率面前会逐渐失效。提示词中的运行时“等待成本”信号，是将工具选择从僵化的评估产物转变为路由决策的关键。
区域分层评估 (Locale-Stratified Evals)：如何捕捉英语测试集无法发现的非英语回归问题
英语优先的评估汇总往往会掩盖法语、日语和葡萄牙语查询中的性能倒退，直到用户流失时才被发现。通过区域分层评估、区域感知的评测员以及流量加权报告的规范，可以在用户感知之前捕捉到区域性的评估漂移。
MCP 工具弃用：为什么模型仍然调用旧名称
重命名 MCP 工具不仅仅是 API 弃用 —— 这是一种模型分布的转变。本文将探讨为什么旧名称会持续出现，以及如何在不触发运维告警的情况下逐步淘汰它。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
