Page 144
12 articles语音 AI 生产落地：构建 300ms 延迟预算
为什么即便模型声音听起来不错，语音 AI 依然让人感觉生硬？本文将探讨如何通过流式流水线架构、轮次检测策略和传输选择，将延迟控制在 300ms 以内。
当思考模型真正发挥作用时：生产环境推理算力的决策框架
针对 o1、o3 和 Claude 深度思考等推理模型何时能真正提升生产环境效果，以及何时只是在浪费 Token 而无益于结果的决策框架。
每个生产级 AI Agent 都需要的三个记忆系统
关于 AI Agent 中情节记忆、语义记忆和程序性记忆的实用指南——以及为什么将所有持久状态视为单一向量存储最终会导致你的生产系统崩溃。
关于在生产环境运行 MCP，没人告诉你的那些事
一份关于 MCP 隐藏生产挑战的实用指南 —— 涵盖传输协议选择、工具 Schema 设计、工具投毒攻击，以及真正可扩展的网关模式。
超越 JSON 模式：在生产环境中获取可靠的 LLM 结构化输出
仅靠提示词的 JSON 提取在生产环境中会有 5–20% 的失败率。本文深入解析了从 JSON 模式到约束解码的全部四代结构化输出技术，并提供了库推荐和模式设计规则。
APM 仪表盘不会告诉你：生产环境中的 LLM 可观测性
生产环境中的 LLM 系统往往在无声中失效 —— 绿色仪表盘背后隐藏着幻觉、提示词漂移和错误的工具选择。本文将介绍一种真正能发现问题的埋点模型。
LLM 路由与模型级联：如何在不牺牲质量的情况下降低 AI 成本
将每个查询都交给顶级模型处理是团队在 AI 上超支最常见的原因。LLM 路由和模型级联可以在保持 95% 质量的同时降低 45–85% 的成本 —— 本文将介绍这些模式在生产环境中的实际运作方式。
为智能体编写工具：ACI 与 API 同等重要
你如何为 AI 智能体设计工具 —— 包括 Schema、描述、返回值和错误信息 —— 直接决定了智能体的可靠性。本指南将教你如何像对待任何生产级 API 一样严肃地对待 “智能体-计算机接口” (ACI)。
微调通常是错误的选择：大语言模型定制决策框架
大多数团队过早地尝试微调。这里有一个基于基准测试和生产案例的实用决策框架，探讨了提示工程何时优于微调，何时不优于微调，以及每种方法的真实经济成本。
生产环境中的流式 AI 应用：没人警告过你的那些坑
生产环境中的流式传输故障几乎从不源于 LLM 本身——它们通常源自 NGINX 的静默缓冲、负载均衡器对长连接的超时处理，以及增量 JSON 解析器退化为 O(n²) 的性能问题。这是一份关于在大规模应用中真正会导致崩溃的基础设施模式的实战指南。
为所有人辩护 AI 评估
大多数声称跳过评估的团队实际上已经在进行评估——只是做得不好。本文将阐述为什么系统性的 AI 评估至关重要，何时可以采用更轻量级的方法，以及如何进行能够揭示真实信号的评估。
LLM 应用的数据飞轮：在生产与改进之间闭环
生产数据飞轮将用户交互转化为模型改进——但不到 1% 的交互产生明确信号，而天真地仅用这 1% 的数据进行训练会悄悄毒害你的系统。本文将介绍决定你的飞轮是会复合增长还是彻底崩溃的架构、反馈信号和失效模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
