Page 143
12 articles长上下文模型 vs. RAG：为什么 1M Token 上下文窗口并非万能
为什么将整个知识库塞进 1M token 的上下文窗口在生产环境中会失败 —— 深入探讨延迟、成本和准确率的权衡，说明为何 RAG 仍是大多数检索任务的首选，并提供一个五个维度的决策框架，帮你判断何时长上下文模型才是更优解。
为什么你的智能体控制架构应该是无状态的：在生产环境中实现大脑与双手的解耦
AI 智能体控制架构与沙箱之间的紧耦合会破坏可靠性、可扩展性和安全性。本文介绍了解决这一问题的架构模式：外部会话日志、无状态控制架构以及隔离的沙箱。
模型升级陷阱：基础模型更新如何静默破坏生产系统
基础模型更新通过行为漂移、拒绝模式改变以及 JSON 序列化不一致，静默地破坏了生产系统 —— 本文为你提供一份关于检测和安全迁移的实用指南。
多租户 LLM API 基础设施：规模化场景下的潜在故障点
在 LLM 供应商前端部署生产级 API 网关可以解决成本归因和速率限制争用问题。然而，分层隔离模型、基于 Token 的限制、故障转移模式以及 KV 缓存安全性带来的复杂性，往往在团队遭遇实际故障前被低估。
生产环境中的多模态 LLM 输入：视觉、文档以及那些无人预警的失效模式
一份关于在生产环境中部署多模态 LLM 时工程师会遇到的失效模式的实用指南——涵盖了从视觉 Token 成本的二次方缩放、OCR 与原生视觉的权衡，到 PDF 表格提取、退化图像上的幻觉以及可组合流水线架构等内容。
生产级检索技术栈：为什么纯向量搜索会失败以及应对策略
纯向量搜索在处理精确关键词、罕见术语和多约束查询时表现不佳。本指南将介绍如何通过 BM25 混合搜索、交叉编码器重排序和阶段级评估指标来构建生产级检索技术栈。
生产环境中的提示词版本管理：工程团队历经磨难才学会的纪律
在生产环境的 LLM 系统中，如果在没有版本控制的情况下管理提示词变更，工程团队最终会在凌晨 2 点接到故障报警且无路可退。这是一份关于如何构建部署流水线以防止此类问题的实用指南。
LLM 应用的语义缓存：基准测试没告诉你的真相
生产环境中的语义缓存命中率通常在 20–45% 之间，而非厂商宣称的 95%。本文将探讨阈值微调难题、从业者容易忽视的失效模式，以及何时应彻底放弃语义缓存。
AI 流水线中的结构化并发：为什么 asyncio.gather() 还不够
并行工具调用是 LLM 最强大的功能之一——但 asyncio.gather() 会引入孤儿任务、静默失败和资源泄漏，这些问题往往在生产环境高负载下才会暴露。本文将介绍如何在智能体流水线中正确处理并发。
JSON 模式救不了你：生产环境 LLM 系统中的结构化输出故障
生产环境中的 LLM 结构化输出会以四种截然不同的方式失败，而 JSON 模式只能捕获其中一种。本文将详细解析语法、模式、语义和分布层面的故障，并介绍能够应对这四种故障的验证栈。
合成训练数据质量崩溃：反馈循环如何摧毁你的微调模型
使用 LLM 生成微调数据会产生反馈循环，从而放大偏见、收缩分布并导致不可逆的模型退化——而大多数团队直到为时已晚才意识到这一点。
工具选择难题：当智能体拥有数十个工具时，如何选择调用哪一个
为什么当工具库扩展到十几个以上时，LLM 智能体会因工具选择而失败 —— 令牌爆炸、检索失败模式，以及在拥有 50 多个工具时仍能保持选择准确性的分层路由架构。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
