Page 121
12 articles超越 JSON 模式：在生产环境中获取可靠的 LLM 结构化输出
仅靠提示词的 JSON 提取在生产环境中会有 5–20% 的失败率。本文深入解析了从 JSON 模式到约束解码的全部四代结构化输出技术，并提供了库推荐和模式设计规则。
APM 仪表盘不会告诉你：生产环境中的 LLM 可观测性
生产环境中的 LLM 系统往往在无声中失效 —— 绿色仪表盘背后隐藏着幻觉、提示词漂移和错误的工具选择。本文将介绍一种真正能发现问题的埋点模型。
LLM 路由与模型级联：如何在不牺牲质量的情况下降低 AI 成本
将每个查询都交给顶级模型处理是团队在 AI 上超支最常见的原因。LLM 路由和模型级联可以在保持 95% 质量的同时降低 45–85% 的成本 —— 本文将介绍这些模式在生产环境中的实际运作方式。
为智能体编写工具：ACI 与 API 同等重要
你如何为 AI 智能体设计工具 —— 包括 Schema、描述、返回值和错误信息 —— 直接决定了智能体的可靠性。本指南将教你如何像对待任何生产级 API 一样严肃地对待 “智能体-计算机接口” (ACI)。
微调通常是错误的选择：大语言模型定制决策框架
大多数团队过早地尝试微调。这里有一个基于基准测试和生产案例的实用决策框架，探讨了提示工程何时优于微调，何时不优于微调，以及每种方法的真实经济成本。
生产环境中的流式 AI 应用：没人警告过你的那些坑
生产环境中的流式传输故障几乎从不源于 LLM 本身——它们通常源自 NGINX 的静默缓冲、负载均衡器对长连接的超时处理，以及增量 JSON 解析器退化为 O(n²) 的性能问题。这是一份关于在大规模应用中真正会导致崩溃的基础设施模式的实战指南。
为所有人辩护 AI 评估
大多数声称跳过评估的团队实际上已经在进行评估——只是做得不好。本文将阐述为什么系统性的 AI 评估至关重要，何时可以采用更轻量级的方法，以及如何进行能够揭示真实信号的评估。
LLM 应用的数据飞轮：在生产与改进之间闭环
生产数据飞轮将用户交互转化为模型改进——但不到 1% 的交互产生明确信号，而天真地仅用这 1% 的数据进行训练会悄悄毒害你的系统。本文将介绍决定你的飞轮是会复合增长还是彻底崩溃的架构、反馈信号和失效模式。
在生产环境中真正奏效的智能体工程模式
将那些真正用 AI 智能体交付产品的团队，与那些只停留在展示看似令人印象深刻的输出的团队区分开来的因素是：将 TDD 作为一种控制机制，将紧急停止开关置于推理路径之外，以及为什么代码健康是先决条件而非副产品。
模型上下文协议：最终解决AI工具集成的行业标准
模型上下文协议实战指南——它的工作原理，它如何胜过函数调用，实践者常忽略的安全风险，以及你今天可以用它来构建什么。
生产中的推理模型：何时使用，何时不使用
一份关于在生产环境中部署推理模型的实用指南——何时其 5-10 倍的成本溢价是合理的，如何构建路由架构，以及需要跟踪哪些指标。
生产环境中的结构化输出：如何用 LLM 生成可靠的 JSON
一份实用指南，教你如何在生产环境中从 LLM 获取符合模式的 JSON — 内容涵盖受限解码、提供商 API、模式设计陷阱，以及防止智能体链崩溃的验证模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
