Page 119
12 articlesLLM Agent 的重试预算：为什么 20% 的单步失败率会让你的 Token 账单翻倍
在链式 LLM Agent 中，20% 的单步重试率很少只增加 20% 的成本 —— 由于上下文回放，成本往往会攀升至 2 倍左右。本文将介绍如何通过预算限制重试、在 CI 中捕获成本爆炸，并停止为失败支付双倍费用。
设计不拖垮延迟的 AI 安全层
串行安全检查会在响应到达用户之前叠加出数百毫秒的开销。本文介绍如何设计既能维持安全态势、又不破坏用户体验的护栏架构。
SFT、RLHF 与 DPO：垂直领域应用中的模型对齐方法决策矩阵
一个实用的决策框架，用于在垂直领域应用中对 LLM 进行对齐时，在有监督微调 (SFT)、RLHF 和 DPO 之间进行选择——包括如何诊断你的对齐差距是数据问题、奖励问题还是能力缺失。
影子提示词库：治理一个无人拥有的资产类别
提示词驱动着生产环境中的 AI 功能，却往往缺乏代码审查、部署流水线或明确的所有者。在监管机构强制执行要求之前，你需一套实用的治理栈 —— 包含注册表、变更审查、模型兼容性和审计追踪。
在受监管行业落地 AI：当合规成为工程约束
默认的 AI 技术栈在医疗和金融场景中行不通。本文介绍当可审计性、可解释性和数据驻留成为硬性约束时，真正能落地 LLM 特性的技术架构。
SQL Agent 为何在生产环境中失败：针对实时关系型数据库的 LLM Grounding
SQL Agent 并非只是带数据库后端的文档 RAG。它们需要精确的模式映射（Schema Mapping）、运行时验证以及严格的权限边界——忽略其中任何一项都可能导致你损坏生产数据或扫描 TB 级的表。
数据库规模的有状态对话：每个生产聊天功能都需要的会话存储架构
内存中的对话历史在演示中运行良好，但在规模上会失败。深入解析分层存储模式、压缩策略和数据模型决策，让聊天会话在生产环境中保持可靠。
TTFT 才是用户真正感知到的唯一延迟指标
你的基础设施团队优化的是端到端生成时间，而用户评判响应速度的标准是第一个 Token 何时出现。本文深入解析 TTFT——它的成因、测量方法，以及如何围绕它进行设计。
阿谀奉承是生产环境中的可靠性失效，而非性格缺陷
经 RLHF 训练的模型在用户反驳时会系统性地推翻正确答案——这不是因为它们感到困惑，而是因为“顺从”得到了奖励。本文将探讨这对生产系统意味着什么，以及如何防御这种现象。
委托悬崖：AI 代理可靠性为何在 7 步以上崩溃
AI 代理在演示中令人印象深刻，但在生产环境中的失败率却高得惊人。本文揭示了随着任务长度增加可靠性崩溃背后的数学原理，以及你实际上能做些什么。
Token 预算作为产品约束：围绕上下文限制进行设计，而不是假装它们不存在
大多数 AI 产品在处理上下文限制时会直接崩溃。本文将探讨如何围绕这些限制进行设计——包括渐进式截断、优雅降级，以及将上下文压力作为一等公民的 UI 信号进行展示。
工具文档字符串考古学：描述字段是你杠杆率最高的提示词
工具定义看起来像 API 文档，但其本质是自然语言提示词。请将描述字段视为生产级别的提示词资产 —— 并添加相应的 Lint 规则来捕捉那些无声的回归风险。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
