Page 145
12 articles在生产环境中真正奏效的智能体工程模式
将那些真正用 AI 智能体交付产品的团队，与那些只停留在展示看似令人印象深刻的输出的团队区分开来的因素是：将 TDD 作为一种控制机制，将紧急停止开关置于推理路径之外，以及为什么代码健康是先决条件而非副产品。
模型上下文协议：最终解决AI工具集成的行业标准
模型上下文协议实战指南——它的工作原理，它如何胜过函数调用，实践者常忽略的安全风险，以及你今天可以用它来构建什么。
生产中的推理模型：何时使用，何时不使用
一份关于在生产环境中部署推理模型的实用指南——何时其 5-10 倍的成本溢价是合理的，如何构建路由架构，以及需要跟踪哪些指标。
生产环境中的结构化输出：如何用 LLM 生成可靠的 JSON
一份实用指南，教你如何在生产环境中从 LLM 获取符合模式的 JSON — 内容涵盖受限解码、提供商 API、模式设计陷阱，以及防止智能体链崩溃的验证模式。
Prompt Caching：将 LLM 成本降低 90% 的优化方案
一份通过 Prompt Caching 将 LLM API 成本降低 60–90% 的实用指南 —— 涵盖 Anthropic 和 OpenAI 的前缀缓存、静默降低命中率的并行执行陷阱，以及用于生产工作负载的多层缓存架构。
生产环境中的 LLM 可观测性：工程师容易忽略的四个隐性故障
标准监控在生产环境 LLM 系统中容易遗漏的四种故障模式 —— 以及如何通过分布式追踪、持续评估和正确的遥测架构，在用户发现之前捕捉到这些问题。
生产环境中的提示注入：真正有效的攻击模式及如何阻止它们
提示注入是头号 LLM 漏洞——而大多数团队的防御措施在适应性攻击者面前都失败了。本文将提供一份实用指南，揭示导致真实 CVE 的攻击模式，以及能够真正降低风险的架构控制措施。
LLM 路由：如何停止为简单查询支付顶级模型的昂贵价格
将每个查询都发送给你最昂贵的模型，所花费的成本比实际需要的高出 27 倍。本指南提供了一份实用的 LLM 路由策略指南——包括基于规则、分类器和级联路由——并附带真实的基准测试数据以及可能遇到的故障模式。
生产级 LLM 应用的 Token 预算策略
一份关于在生产级 LLM 系统中管理 Token 预算的实用指南 —— 涵盖了上下文腐烂、分级分配、摘要处理、KV 缓存利用以及防止 Agent 静默失败的中间层。
AI 流水线中的投机执行：通过押注未来降低延迟
大多数 LLM 流水线之所以是顺序执行纯属偶然。投机执行 —— 通过并行运行假设、预取工具调用以及同步生成候选输出 —— 可以将体感延迟降低 2–4 倍，但前提是你需要理解协调开销何时会抵消这些收益。
LLM 应用压力测试：为什么 k6 和 Locust 会误导你
传统的压力测试工具在测试 LLM API 时往往关注错误的指标。了解哪些指标才是真正重要的——TTFT、Token 间延迟、有效吞吐量（Goodput）——以及如何构建能够预测生产环境行为而非掩盖故障模式的测试。
评估与生产环境的差距：为什么测试套件的 92% 分数仅意味着 40% 的用户满意度
高评估分数与低用户满意度往往并存——本文将探讨为什么精心挑选的测试集会偏离真实流量，以及哪四个仪表化改进能真正弥补这一差距。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
