Page 117
12 articles生产环境中的 LLM 置信度校准：衡量与解决过度自信问题
那些声称 “我非常有信心” 的 LLM 往往就在那个点上出错。本文探讨如何衡量校准误差、为什么 RLHF 会让情况变得更糟，以及真正有效的生产环境设计模式。
提供商抽象税：构建无需重写即可切换模型的 LLM 应用
直接在单一 LLM 提供商上进行开发的团队会积累提示词习惯、工具模式约定和行为依赖，这些都会转化为迁移债务。本文介绍了一种抽象层设计，使切换提供商变成只需修改配置的工作，而非长达数月的重写工程。
LLM 在安全运营中心的应用：在不承担责任风险的情况下实现加速
如何将 LLM 接入安全运营，以便在加速警报分拣的同时，避免在悄无声息中批准真实的入侵行为——涵盖置信度阈值、日志投毒防御以及关键指标。
没人调校的 max_tokens 旋钮：将输出截断作为成本杠杆
大多数团队为了避免生成中途截断而过度填充 max_tokens，并为此持续支付冗余的费用。根据真实的输出分布进行基于路由的校准，可以在不损失质量的情况下将输出 token 支出降低 20–40%。
你的 AI 功能应该先输给正则表达式一次
在你投入微调或 RAG 之前，你的 AI 功能应该被要求击败你能构建的最简单的确定性基准。大多数团队跳过了这个环节，并为此付出了代价。
模型 EOL 倒计时：将供应商 LLM 视为外部依赖项管理
每个锁定的模型版本都有一个你无法控制的弃用日期。本文介绍如何将供应商 LLM 视为外部依赖项，在通知到来之前就内置行为回归测试套件、EOL 处置手册和迁移测试框架。
模型路由是系统设计问题，而非配置选项
将 LLM 的选择视为运行时分发决策而非部署常量，能够带来真实的成本节省。本文探讨如何思考路由信号、故障转移失效模式、影子路由，以及大多数团队忽略的成本核算方法。
多模型一致性：当你的流水线中的连续 LLM 调用相互矛盾时
在单个工作流中，三次 LLM 调用可能会产生相互冲突的事实、实体引用和状态声明。本文将介绍如何设计能够保持连贯性的流水线。
多会话评估设计：捕捉随时间推移而恶化的 AI 功能
单轮评估往往会忽略那些只有在状态累积后才会出现的 AI 故障。本文将探讨如何设计多会话评估框架、衰减曲线和回归方法，在用户流失之前捕捉到质量腐烂。
多用户共享智能体状态：你真正需要的并发原语
大多数智能体设计假设每个会话只有一个用户。共享工作区需要分布式系统原语，以防止并发用户发出相互矛盾的指令时发生无声数据损坏。
多模态流水线在生产环境中的挑战：当你超越文本时会发生什么
在生产环境中引入多模态意味着面对一类新的故障：静默图像拒绝、PDF表格错位、音频延迟预算，以及文本评估从未发现的跨模态幻觉。
共享 LLM 基础设施中的“吵闹邻居”问题：AI 功能的租户模型
当某个功能的批处理作业耗尽了共享的 API 配额时，付费用户会看到 429 错误。本文将介绍共享 LLM 基础设施的检测信号与隔离模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
