Page 120
12 articles生产环境中的多模态 LLM 输入：视觉、文档以及那些无人预警的失效模式
一份关于在生产环境中部署多模态 LLM 时工程师会遇到的失效模式的实用指南——涵盖了从视觉 Token 成本的二次方缩放、OCR 与原生视觉的权衡，到 PDF 表格提取、退化图像上的幻觉以及可组合流水线架构等内容。
生产级检索技术栈：为什么纯向量搜索会失败以及应对策略
纯向量搜索在处理精确关键词、罕见术语和多约束查询时表现不佳。本指南将介绍如何通过 BM25 混合搜索、交叉编码器重排序和阶段级评估指标来构建生产级检索技术栈。
生产环境中的提示词版本管理：工程团队历经磨难才学会的纪律
在生产环境的 LLM 系统中，如果在没有版本控制的情况下管理提示词变更，工程团队最终会在凌晨 2 点接到故障报警且无路可退。这是一份关于如何构建部署流水线以防止此类问题的实用指南。
LLM 应用的语义缓存：基准测试没告诉你的真相
生产环境中的语义缓存命中率通常在 20–45% 之间，而非厂商宣称的 95%。本文将探讨阈值微调难题、从业者容易忽视的失效模式，以及何时应彻底放弃语义缓存。
AI 流水线中的结构化并发：为什么 asyncio.gather() 还不够
并行工具调用是 LLM 最强大的功能之一——但 asyncio.gather() 会引入孤儿任务、静默失败和资源泄漏，这些问题往往在生产环境高负载下才会暴露。本文将介绍如何在智能体流水线中正确处理并发。
JSON 模式救不了你：生产环境 LLM 系统中的结构化输出故障
生产环境中的 LLM 结构化输出会以四种截然不同的方式失败，而 JSON 模式只能捕获其中一种。本文将详细解析语法、模式、语义和分布层面的故障，并介绍能够应对这四种故障的验证栈。
合成训练数据质量崩溃：反馈循环如何摧毁你的微调模型
使用 LLM 生成微调数据会产生反馈循环，从而放大偏见、收缩分布并导致不可逆的模型退化——而大多数团队直到为时已晚才意识到这一点。
工具选择难题：当智能体拥有数十个工具时，如何选择调用哪一个
为什么当工具库扩展到十几个以上时，LLM 智能体会因工具选择而失败 —— 令牌爆炸、检索失败模式，以及在拥有 50 多个工具时仍能保持选择准确性的分层路由架构。
语音 AI 生产落地：构建 300ms 延迟预算
为什么即便模型声音听起来不错，语音 AI 依然让人感觉生硬？本文将探讨如何通过流式流水线架构、轮次检测策略和传输选择，将延迟控制在 300ms 以内。
当思考模型真正发挥作用时：生产环境推理算力的决策框架
针对 o1、o3 和 Claude 深度思考等推理模型何时能真正提升生产环境效果，以及何时只是在浪费 Token 而无益于结果的决策框架。
每个生产级 AI Agent 都需要的三个记忆系统
关于 AI Agent 中情节记忆、语义记忆和程序性记忆的实用指南——以及为什么将所有持久状态视为单一向量存储最终会导致你的生产系统崩溃。
关于在生产环境运行 MCP，没人告诉你的那些事
一份关于 MCP 隐藏生产挑战的实用指南 —— 涵盖传输协议选择、工具 Schema 设计、工具投毒攻击，以及真正可扩展的网关模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
