Page 89
12 articles延迟感知差距：为什么3秒的流式响应比1秒的批量响应感觉更快
3秒的流式响应往往比1秒的批量响应感觉更快。这是背后的心理学原理和利用它的工程模式。
为什么你的 LLM 告警总是迟到两周
当你的基础设施指标显示正常时，LLM 的质量可能正在悄然下降。了解具体的信号——语义漂移评分、输出 Schema 符合度、用户修复率——以及能够在用户开始提交工单前 11 天捕捉到模型退化的异常检测模式。
模型最确定的时候往往最容易出错：生产中的LLM置信度校准
经过RLHF训练的LLM存在系统性失校准问题——最高的语言置信度往往对应错误的输出。如何在你的任务上测量校准误差，并修复依赖于此的路由逻辑。
LLM 成本预测：多数团队在上线前都会忽略的估算难题
生产环境中的 Token 数量取决于你无法在设计阶段预测的用户行为。本文将介绍如何通过仿真、金丝雀流量和框架级预算强制执行，在产品上线前构建一个能够限制波动的成本模型。
模型迁移类比数据库迁移：如何在不破坏生产环境的情况下安全切换 LLM 供应商
切换 LLM 供应商或升级模型版本更像是一次数据库模式迁移，而非简单的配置更改。这是工程师真正需要的生产环境指南。
LLM 驱动的数据迁移：大规模实践中真正有效的方法
一篇面向工程师的实践指南，介绍如何使用 LLM 完成 Schema 迁移和 ETL 自动化——涵盖静默失败模式、分层验证架构、基于 Schema 的提示方式，以及何时不应用 LLM 替代传统流水线。
LLM 作为数据工程师：AI 驱动的 ETL 中的静默失败
LLM 可以处理手工编码的 ETL 流水线容易忽略的杂乱数据边缘情况，但它们也会在没有任何错误信号的情况下生成极具误导性的错误转换。这里有一套验证、沙盒和监控技术栈，旨在确保 AI 增强的 ETL 在生产环境中的安全运行。
模型卡没告诉你的是：公开基准测试与实际工作负载之间的生产差距
模型卡上的基准测试是在理想条件下测量的，这些条件很少能与生产环境匹配。这是每个团队发现得太晚的差距 —— 以及一套能在部署前捕捉到这些问题的内部基准测试套件。
模型弃用本质上是系统迁移：如何应对模型供应商的停用计划
当你的推理供应商下架某个模型时，更换模型 ID 只是最微不足道的一步。本文将介绍如何通过工程规范，在模型停用期间保持生产级 AI 的稳定运行。
模型可移植性税：如何架构真正可迁移的 AI 系统
每次模型替换都是一次局部重写——如果你在设计时没有考虑可移植性的话。本文介绍了抽象层、能力协商以及回归测试基础设施，能将模型迁移从危机部署转变为有计划的常规操作。
模型升级即破坏性变更：你的部署流水线遗漏了什么
基础模型的更新往往会通过输出格式偏移、语气变化和推理分歧，在悄无声息中破坏下游系统。本文将介绍用于检测和管理这些问题的基础设施。
多用户 AI 会话：没人在设计阶段考虑的上下文归属问题
当多个用户共享一个 AI 助手时，上下文就变成了一个没有访问控制的共享可变资源。本文探讨上下文泄漏、个性化污染以及团队规模下出现的竞态条件，以及真正能预防这些问题的隔离模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
