Page 49
12 articles生产环境中的模型路由：当路由器成本超过节省时
大多数团队部署模型路由器时期待自动节省成本。反直觉的现实是：设计不良的路由器可能比将所有请求都发送到昂贵模型还要费钱。这是真正有效的决策框架。
在写第一个提示词之前，如何选对 LLM
公开基准已经饱和，无法告诉你哪个 LLM 能在你的系统中正常工作。本文提供一套实用框架，从真正重要的维度评估模型：函数调用可靠性、结构化输出合规性、你的领域拒绝率，以及真实并发下的延迟。
预算有限下的偏好数据：无需研究团队即可捕获 RLHF 信号
如何通过隐式行为遥测、行内编辑和 A/B 提示词从真实用户那里收集成对偏好信号，以及在没有 PPO 基础设施的情况下也能运行的最小可行奖励模型设置。
大规模提示词注入：防御智能体流水线免受恶意内容的侵害
提示词注入是生产环境 AI 智能体中的首要漏洞。本文将探讨其攻击面、为什么指令级防御会失效，以及在对抗压力下保持系统可用性的架构设计。
真正能阻断 PR 合并的提示词回归测试
大多数团队声称在测试他们的提示词。但几乎没有团队建立了能让构建失败的 CI 门控。这里有一个轻量级框架，可以在不烧掉 API 预算的情况下改变这一局面。
检索债务：为何你的 RAG 流水线会悄然退化
你的 RAG 流水线在上线时运作良好，但现在答案感觉有些不对劲，却没人能解释为什么。本文剖析检索债务如何通过过期嵌入、墓碑块和编码器漂移悄然积累，以及如何在用户察觉之前遏制这一问题。
生产环境中的采样参数：那些没人解释清楚的调参决策
Temperature、top-p 和 top-k 在无声地左右你的 LLM 输出质量。以下是工程师在生产环境中调参时真正需要了解的机制与权衡——包括为何 temperature=0 并不确定，以及 top-p 与 temperature 如何相互作用。
结构化输出并非已解决的问题：生产环境中的 JSON 模式失效模式
JSON 模式看起来像是一个已经解决的问题，直到你遇到深度嵌套的 schema、包含大量枚举的类型，或者是静默截断的长补全。本文提供了一份完整的故障分类指南，以及在错误影响用户之前捕获故障的验证模式。
当代码胜过模型：用确定性逻辑替换 LLM 调用的决策框架
“直接用模型就好”的本能反应是 AI 系统中不必要复杂性的主要诱因。本文提供了一个决策框架，帮助你识别何时正则表达式、查找表或基于规则的分类器在准确性、延迟和成本方面优于 LLM 调用。
为非确定性 AI 功能编写验收标准
当你的系统是概率性的时，标准的验收标准就会失效。本文介绍了评估阈值协议、基于示例的规范以及衡量模式，帮助产品和工程团队在 AI 功能的“完成”定义上达成一致。
追踪规划层：为什么你的智能体追踪只记录了一半的故事
智能体可观测性工具能为你提供完整的工具调用日志和耗时，但驱动这些决策的规划与推理过程往往是不可见的。本文将探讨什么是规划层追踪，为什么它能捕捉到完全不同的失败类型，以及如何在今天就开始实施。
大规模代理式网页数据提取：当智能体取代爬虫时
AI 智能体解决了传统爬虫无法解决的实际问题，但“LLM 读取页面”的原型在每小时 1,000 页的规模下会崩溃。本文介绍了在生产环境中真正起作用的混合架构、成本模型和监控设计。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
