Page 122
12 articlesPrompt Caching：将 LLM 成本降低 90% 的优化方案
一份通过 Prompt Caching 将 LLM API 成本降低 60–90% 的实用指南 —— 涵盖 Anthropic 和 OpenAI 的前缀缓存、静默降低命中率的并行执行陷阱，以及用于生产工作负载的多层缓存架构。
生产环境中的 LLM 可观测性：工程师容易忽略的四个隐性故障
标准监控在生产环境 LLM 系统中容易遗漏的四种故障模式 —— 以及如何通过分布式追踪、持续评估和正确的遥测架构，在用户发现之前捕捉到这些问题。
生产环境中的提示注入：真正有效的攻击模式及如何阻止它们
提示注入是头号 LLM 漏洞——而大多数团队的防御措施在适应性攻击者面前都失败了。本文将提供一份实用指南，揭示导致真实 CVE 的攻击模式，以及能够真正降低风险的架构控制措施。
LLM 路由：如何停止为简单查询支付顶级模型的昂贵价格
将每个查询都发送给你最昂贵的模型，所花费的成本比实际需要的高出 27 倍。本指南提供了一份实用的 LLM 路由策略指南——包括基于规则、分类器和级联路由——并附带真实的基准测试数据以及可能遇到的故障模式。
生产级 LLM 应用的 Token 预算策略
一份关于在生产级 LLM 系统中管理 Token 预算的实用指南 —— 涵盖了上下文腐烂、分级分配、摘要处理、KV 缓存利用以及防止 Agent 静默失败的中间层。
AI 流水线中的投机执行：通过押注未来降低延迟
大多数 LLM 流水线之所以是顺序执行纯属偶然。投机执行 —— 通过并行运行假设、预取工具调用以及同步生成候选输出 —— 可以将体感延迟降低 2–4 倍，但前提是你需要理解协调开销何时会抵消这些收益。
LLM 应用压力测试：为什么 k6 和 Locust 会误导你
传统的压力测试工具在测试 LLM API 时往往关注错误的指标。了解哪些指标才是真正重要的——TTFT、Token 间延迟、有效吞吐量（Goodput）——以及如何构建能够预测生产环境行为而非掩盖故障模式的测试。
评估与生产环境的差距：为什么测试套件的 92% 分数仅意味着 40% 的用户满意度
高评估分数与低用户满意度往往并存——本文将探讨为什么精心挑选的测试集会偏离真实流量，以及哪四个仪表化改进能真正弥补这一差距。
智能体系统的补偿事务与故障恢复
AI 智能体在工作流执行中可能会失败。本文将介绍如何应用 Saga 模式、幂等键和持久化检查点，从而使不可逆的工具调用（如发送邮件、扣费、删除数据）在无需人工干预的情况下实现恢复。
生产级 AI 系统中的时序推理失效
LLM 会自信地使用可能已经过时 12-30 个月的训练数据来回答有关“当前”事件的问题。本文将探讨陈旧性与幻觉的区别，为什么你无法通过提示工程来解决它，以及在生产环境中该如何应对。
为什么你的智能体 UI 体验糟糕（以及如何修复它）
大多数智能体 UI 失败的原因并非模型糟糕，而是交互层存在缺陷。本文深入分析了五个根本原因以及修复这些问题的工程模式。
AI Agent 红队测试：发现真实漏洞的对抗性测试方法论
一套在生产环境中对 AI Agent 进行红队测试的实用方法论——涵盖了目标劫持、工具级攻击、多智能体利用、记忆投毒，以及为什么聚合指标会掩盖最重要的系统故障。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
