Page 139
12 articles生产环境中的多模态大模型：没人会预先计算的成本账
视觉、音频和视频输入如何改变你的大模型 Token 预算 —— 本文详细分析了各模态的成本公式、那些悄悄增加生产账单的乘数，以及团队用于控制成本的架构模式。
N+1 查询问题已经感染了你的 AI Agent
ORM 时代的 N+1 查询问题在 AI Agent 工具调用层重新出现 —— 顺序单项获取、冗余重新获取和过度获取正默默地增加你的延迟和 Token 成本。本文将介绍如何诊断并修复这一问题。
非确定性税：在概率性基础设施上构建可靠的流水线
Temperature=0 并不能让 LLM 变得确定。批次组合、张量并行以及浮点数非结合性会导致高达 72 个百分点的性能波动。本文将介绍如何衡量这种方差，并构建即便在这种情况下依然稳定的应用逻辑。
代理系统的非确定性 CI：为什么二进制的通过/失败模式会失效，以及取而代之的是什么
当每次测试运行都具有非确定性时，二进制的通过/失败 CI 就会失效。统计判定、分级阈值、轨迹指纹识别和序列分析可以在不让团队陷入虚假失败的情况下，捕捉真实的代理回归。
LLM Agent 中的并行工具调用：你可能尚未意识到的耦合测试
在 LLM Agent 中启用并行工具执行会暴露工具设计中隐藏的耦合问题 —— 本文探讨了三种静默失败模式、如何为安全并行对工具进行分类，以及何时应该合并工具而非并行化。
生产环境 AI 故障响应：当你的智能体在凌晨 3 点出错时
AI 故障与常规软件故障并不相同 —— 没有堆栈跟踪，没有 500 错误，只有看似笃定的错误答案和失控的循环。这是一份关于生产环境 LLM 系统检测、分类、遏制和复盘的实用指南。
提示词所有权问题：当所有团队都将提示词视为配置时会发生什么
一起耗资 34 万美元的生产事故揭示了当提示词缺乏所有者、没有版本历史且没有审核门禁时会发生什么 —— 以及如何通过轻量级治理模型来防止此类事件。
Prompt Sprawl：当系统提示词演变成难以维护的遗留代码
系统提示词从 200 个 token 膨胀到 4,000 个，会悄然降低 LLM 的性能。本文介绍如何审计、拆解并构建可维护的模块化提示词——将 DRY 原则、关注点分离和版本控制应用于提示词管理。
为什么分块问题尚未解决：原生 RAG 流水线如何在长文档上产生幻觉
固定尺寸分块和语义分块在处理生产级文档时都会以可预测的方式失败。本文将展示关于 RAG 分块失败的研究结果，以及能够弥合准确性差距的评估和架构模式。
RAG 的阴暗秘密：你的检索成功了，但答案依然错误
检索成功并不能保证正确答案。在检索和生成之间潜伏着第三种失败模式——上下文充分性——即检索到的文档排名正确，但缺乏所需的具体信息。本文将介绍如何检测该问题以及应对方案。
RAG 新鲜度问题：过时的 Embedding 是如何悄悄破坏检索质量的
语义相似度没有时间维度 —— 过时的 Embedding 分数与新鲜的 Embedding 一样高。本文将探讨 CDC 流水线、衰减加权评分以及监控技术栈，这些工具能够防止生产环境中的 RAG 系统在无声无息中提供过时的答案。
智能体循环中的推理模型溢价：何时“思考”值得，何时不值得
推理模型的单次查询成本最高可达标准模型的 86 倍 —— 并且在智能体循环中，该成本会随每次迭代而叠加。本文提供了一个实用的决策框架，帮助你判断何时应路由到推理模型，以及何时选择快速模型更为明智。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
