Page 127
12 articles有价值, 值得做, 值得我做
反思施乐与苹果的历史教训，探讨在快速变化的技术环境中，如何判断一项技术的真正价值，以及它是否适合个人的商业追求。
生产环境中的 LLM 可观测性：追踪不可预测的行为
标准监控仪表盘往往会忽略 LLM 应用中大部分的问题。这是一份关于分布式追踪、成本归因、延迟分析以及在大规模场景下调试非确定性 Agent 行为的实用指南。
上下文的隐性成本：管理生产级 LLM 系统中的 Token 预算
上下文窗口并不是免费的存储空间 —— 它是 LLM 系统中最大的隐性成本。了解二次方注意力缩放、迷失在中间（lost-in-the-middle）问题以及上下文长度激增如何推高账单，并掌握有效控制这些成本的分层策略。
生产环境中的结构化输出：让 LLM 返回可靠的 JSON
在生产环境中让 LLM 返回有效的、符合 Schema 的 JSON 比看起来要难。本文将探讨受限解码、验证层和 Schema 设计决策如何相互作用，以及每种方法的局限性。
Prompt Engineering 深度解析：从基础到高级技术
为在生产环境中使用 LLM 的工程师提供的提示工程实用指南 —— 涵盖零样本与少样本权衡、思维链基准测试、结构化输出可靠性模式，以及破坏生产环境提示词的五个常见错误。
AI 基准测试究竟衡量了什么（以及为什么你不该迷信排行榜）
AI 基准测试分数看起来很客观，但由于数据污染、格式敏感性和古德哈特定律的影响，排行榜的排名往往无法反映真实的生产环境表现。本文将带你了解其中的核心问题。
生产环境中的工具调用：循环、陷阱与实战方案
一份关于在生产环境 LLM 系统中进行工具调用的实用指南 —— 涵盖代理循环、并行执行格式规则、编写有效的工具描述、使用 is_error 进行错误恢复，以及工具何时会增加延迟而无实际价值。
为什么多智能体系统会在接缝处断裂：设计可靠的交接机制
生产环境中的多智能体系统故障往往发生在智能体之间的边界处，而非其内部。本文深入分析了三种主要的故障模式以及防止这些故障的工程模式。
生产环境中的推理模型：何时获益，何时受损
推理模型可以解决指令模型无法处理的问题 —— 但如果使用不当，成本会增加 10 倍，且每个请求会增加 10 秒的延迟。以下是你该如何权衡利弊的思考。
生产环境中的 LLM 延迟：哪些手段真正能见效
对 LLM 延迟进行的实用解析——涵盖 Prefill 与 Decode 阶段、流式传输、KV 缓存策略、投机采样，以及为了加速交付 AI 应用需要衡量哪些关键指标。
为什么长任务 AI Agent 会在生产环境中失败（以及修复它们的底层架构）
长任务 AI Agent 的失败方式往往是可预见的：复合错误率、同步超时、非幂等重试以及缺乏人工干预计划。本文将介绍如何构建真正可靠的底层架构。
生产环境中的 LLM 防护栏：为什么单层防护永远不够
5 个准确率为 90% 的防护栏仅能为你提供 59% 的系统正确率。这是一份关于分层防护栏架构的实用指南——涵盖输入和输出验证、工具选择、延迟权衡，以及为什么复合错误率是隐藏的失败模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
