Page 31
12 articlesLLM 分类器的生产实践：为什么准确率是错误的指标
准确率本身并不能预测基于 LLM 的分类器能否在生产环境中存活。真正的约束在于校准性、分类别指标、延迟 SLO，以及揭示生产就绪性的测试模式。
模型路由中的 20% 问题：当成本优化产生二等用户时
经过成本优化的 LLM 路由正悄然在特定用户群体间造成质量差距。了解为什么那 20% 被升级处理的查询并非随机分布，如何按用户分层审计路由层级，以及如何设计带有公平性约束的策略。
组织架构问题：为什么 AI 功能会死在团队之间
42% 的 AI 项目失败并非因为模型不好用，而是因为没有一个团队从头到尾负责这个功能。本文深入分析了扼杀 AI 功能的问责空白，以及真正有效的所有权模型。
输出耦合陷阱：为什么多智能体系统在接口边界处会发生静默失败
下游智能体静默地依赖于上游智能体的精确输出格式。当格式发生偏移时，故障看起来就像是模型错误。本文将介绍如何构建智能体接口，在格式依赖破坏你的流水线之前将其显式化。
一致性鸿沟：为什么并行 LLM 调用会相互矛盾以及如何修复它
当智能体针对同一实体发起多个并发 LLM 调用时，它们经常会得出不兼容的结论。本文介绍了防止此类问题的架构模式——实体规范化、缓存预热、基于证据的对账以及 Schema 强制执行。
权限感知检索：企业 RAG 的访问控制必须在向量层
大多数企业 RAG 系统在应用层执行访问控制——结果就是机密文档不断泄露给无权查看的用户。以下是安全机制必须下沉至检索层本身的原因。
人设锁定问题：长期 AI 会话如何将用户困在自己的模式中
随时间适应用户行为的 AI 系统会形成自我强化的循环，早期偏好逐渐固化为用户无法逃脱的默认行为。本文探讨人设锁定在实践中的表现，以及如何在设计层面加以规避。
系统提示的措辞决定智能体的风险偏好
收益框架与损失框架的提示词在决策边界处会产生可测量的不同智能体行为。本文探讨这对你编写系统提示意味着什么。
提示词版本管理问题：为什么你的提示词变更是未被追踪的生产风险
提示词变更与API契约变更一样可靠地破坏生产环境——但大多数团队在零版本管理、无评估、无回滚计划的情况下发布它们。以下是解决这一问题的工程纪律。
Provider 行为指纹：模型切换中的隐性损耗
切换 LLM Provider 会以能力基准测试永远无法发现的方式破坏生产环境——包括拒绝语气、JSON 序列化怪癖、空白字符约定以及上下文退化曲线，而你的代码库早已悄悄依赖这些行为。以下是如何在迁移前将这些隐性契约暴露出来的方法。
发布顺序问题：为什么同时部署模型与基础设施变更会破坏可观测性
在同一次发布中同时扩大上下文窗口、升级模型版本和更改批处理大小，会将调试问题变成无法解决的调试难题。以下是保持 AI 系统可读性的顺序化纪律。
隐形算力税：为何你的 AI 推理账单远超用户实际所需
主动生成、后台摘要以及提前的上下文准备会消耗推理预算，而用户却从未看到这些输出。本文将介绍如何衡量这些浪费并停止为此买单。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
