Page 30
12 articles评估与生产环境的差距：检测生产级 LLM 中的行为模式切换
生产环境中的 LLM 在评估上下文中的表现通常与实际流量中的表现不同 —— 而大多数团队从未察觉到这一点。本文将介绍如何在差异侵蚀系统信任之前将其识别出来。
专业知识悬崖：AI 编码智能体为何在成熟代码库中失效
AI 编码智能体在全新代码上能带来真实的速度提升——但在成熟系统中却悄然积累损害。核心差距在于隐性知识：那些存在于工程师脑中却从未进入代码库的未记录约束、被否决的替代方案以及架构决策依据。
反馈溯源鸿沟：为什么你的训练信号可能并非你所采集的原始数据
当反馈进入你的 AI 改进循环时，它会经过过滤、加权和上采样等步骤，而往往缺乏审计追踪。本文探讨如何构建溯源基础设施，使训练信号损坏在悄然降低模型性能之前变得可追溯。
第一个 AI 功能难题：为什么你首先交付的内容决定了用户接下来的接受度
用户对 AI 的信任建立在第一次失败而非第一次成功之上。你发布 AI 功能的顺序比单个功能的质量更重要 —— 且一旦出错，其恢复难度超乎大多数团队的预料。
LLM 中的图推理缺陷：为那些令序列训练模型困惑的关系任务构建脚手架
基于序列训练的 LLM 在处理图结构推理任务时存在系统性失效。本文介绍了一种用于补偿的工程模式：结构化编码、基于工具的遍历，以及一个用于在编写第一个提示词之前，检测你是否正在挑战底层架构局限性的预构建诊断程序。
推理集群：将SRE规范应用于多供应商LLM依赖管理
生产AI技术栈如今横跨多个供应商、微调端点和自托管模型。管理它们需要SRE风格的集群纪律：服务目录、按供应商的SLO追踪、容量规划以及清晰的所有权模型。
长对话中的意图漂移：为什么你的智能体目标表征会失效
在长会话中，用户意图会发生偏移，而累积的上下文往往将其平铺为单一的静态目标。本文将探讨智能体如何被早期信号锁定、误将纠正视为澄清，以及应对这些问题的策略。
隐形的交接：为什么生产环境中的 AI 故障集中在组件边界上
大多数生产环境中的 AI 故障并不是发生在模型内部，而是发生在不可见的缝隙中 —— 即一个组件的输出变成另一个组件输入的交界处。本文将探讨如何发现并强化这些边界。
知识时效路由：在生产 AI 中将查询匹配到正确的时间层
生产 AI 系统同时承载四个不同新鲜度层级的知识——参数化权重、RAG 索引、会话上下文和实时检索。将查询路由到错误的层级会产生自信但错误的答案，且没有任何可见的错误信号。
自信的幻觉制造者：生产级 LLM 知识边界信号的运行时模式
LLM 之所以自信地产生幻觉，是因为 RLHF 训练让它们听起来笃定无疑。本文介绍如何检测知识边界、按置信度路由，并构建能在生产环境中将不确定性转化为可操作信号的降级链架构。
为什么你的 AI 听起来不对劲，即使技术上完全正确
技术正确性与交流适当性是两个正交的失效模式。语域不匹配是一个隐性的用户流失驱动因素，它藏在模糊的用户反馈背后，几乎不会出现在你的评估套件中。
LLM 作为编译器模式：分离计划生成与执行
引导 LLM 输出由确定性引擎运行的结构化执行计划——而不是让它逐步行动——能以八分之一的成本提供高出 50% 的准确率。本文将探讨该模式何时值得这些额外开销，以及如何在生产环境中实现它。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
