Page 136
12 articles批处理 LLM 流水线的盲点：离线处理与无人提及的队列设计
大多数 LLM API 的支出都用于批处理工作负载——如每日分类、数据增强、嵌入生成——但团队往往将其设计得像缓慢的对话式 API。本文是一份关于离线 LLM 流水线的实用指南，涵盖队列架构、断点续传、故障分类以及针对每个流水线的成本归因。
批量 LLM 流水线的盲点：离线 AI 的队列设计、检查点与成本分摊
生产环境中的 LLM 批量流水线如果按照实时服务模式构建，往往会面临失败。在处理离线工作负载时，任务规格选择、检查点续传、死信队列、成本分摊以及队列背压等环节都需要重新思考。
代码智能体中的束搜索：为什么贪婪生成是可靠性陷阱
在处理复杂任务时，贪婪单次生成会将代码智能体的可靠性限制在 20–30%。而树搜索探索策略 —— 包括束搜索、MCTS 以及带有执行反馈的结构化树搜索 —— 在不改变底层模型的情况下，能让相同问题的通过率提升 30–130%。
认知工具支架：在不增加成本的情况下获得接近推理模型的性能
通过将四种结构化认知操作作为工具调用，可以将标准的 70B 模型在竞赛级数学基准测试中的表现从 13% 提升到 30% —— 以基础模型的价格实现了接近 o1-preview 的效果。本文提供了一个实用的决策框架，探讨何时认知支架方案优于直接购买推理模型。
冷缓存、热缓存：为什么你的 LLM 延迟数据在测试环境中具有欺骗性
Prompt 缓存会让测试环境的延迟看起来比生产环境真实情况好 80%。通过一套涵盖冷缓存、流量多样性和单节点路由的四阶段压力测试方法论，你可以在用户发现之前揭示真实的 p95 和 p99 数据。
AI 个性化中的冷启动问题
当新用户发送第一条消息时，你的 AI 系统只有一个数据点，却必须做出数十个隐式决策。本指南提供了在不构建过滤气泡的情况下应对冷启动问题的架构方案。
组合测试鸿沟：为什么你的智能体通过了每一项测试却在协作时失败
67% 的多智能体系统故障源于智能体之间的交互，而非单个智能体的缺陷。本文提供了针对组合式智能体流水线的实用指南，涵盖基于属性的不变量、轨迹回放、接缝注入和契约测试。
生产环境中的 Computer Use 代理：当像素取代 API 调用时
一份关于 computer use 代理的生产环境指南 —— 涵盖了“观察-思考-行动”循环、坐标缩放陷阱、导致部署失败的五种模式、沙箱需求，以及一套用于判断像素何时优于 API 调用的决策框架。
共享 LLM 基础设施中的跨租户数据泄露：无人测试的隔离失效
探讨在共享 LLM 产品中，提示词缓存、向量索引、微调模型权重和智能体内存存储是如何悄无声息地在租户之间泄露数据的 —— 哪些隔离原语能真正强制执行边界，以及在客户发现之前找出污染的审计方法。
DAG 优先的智能体编排：为什么线性链在大规模场景下会失效
线性智能体流水线将本应并行运行的工作串行化，传播了原本可以隔离的故障，并使局部恢复在结构上变得不可能。本文将探讨切换到 DAG 优先执行模型究竟会带来哪些改变。
调试税：为什么调试 AI 系统比构建它们要多花 10 倍的时间
生产环境中的 AI 调试所需的工程时间比初始开发多出 3–8 倍 —— 这是由不可复现的故障、传统监控无法察觉的语义错误以及悄无声息发生的提示词回归所驱动的。本文介绍了一套实用的方法论，涵盖检索分诊、评估层级、统计性通过/失败标准以及基于追踪的重放。
领域专用 Agent 架构：为什么通用 Agent 在高风险垂直行业表现不佳
通用 AI Agent 在医疗、法律和科学领域的一致表现不佳。本文介绍了三种缩小这一差距的架构模式——分层专家子 Agent、领域专用工具服务器和精选知识注入，以及一个评估专业化开销是否值得的决策框架。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
