Page 61
12 articles物理隔离 LLM 蓝图：无出站流量部署的真正需求
云端 AI 栈将出站 HTTPS 视为一种免费的原语。拔掉网线后，每一层（从模型溯源、评估到集群管理和遥测）都必须被迫重新构建那些在云端版本中被悄悄隐藏的原语。
Brownout 模式：当你的 LLM 供应商响应迟缓而非宕机时
供应商的可用性是连续的，而非二元的。你的回退链条能处理显而易见的宕机，却往往忽略了那些在数小时内悄悄消磨用户信任的 Brownout 现象（响应迟缓）。
澄清预算：你的智能体何时应该询问而非猜测
大多数智能体要么过度询问让用户精疲力竭，要么过度猜测并失去信任。解决方法是建立基于任务的澄清预算，并增加一个模型在结构上无法独自承担的策略层。
你的 Embedding 模型选择决定了 RAG 的上限，而 LLM 无法突破它
Embedding 模型决定了 RAG 质量的上限，而更换 LLM 无法提升该上限。本文提供了一个实用的选择框架：领域匹配、维度选择、多语言表现和指令微调。
将 Eval 作为 Pull Request 评论而非任务：在代码审查中嵌入 LLM 质量门禁
为什么只有当 LLM 评估（evals）存在于 diff 旁边的 PR 评论中时，才能有效捕捉回归。借鉴代码覆盖率如何从夜间任务迁移到内联审查界面的经验 —— 以及将“评估即任务”转变为“评估即合并门禁”的四个工程关键点。
评估集腐化：为什么评估分数在上升，而用户满意度在下降
评估分数在攀升，但用户投诉也在同步增长。一个基于发布周流量构建的评估集，在六个月后可能已经悄然失去了衡量产品的能力 —— 本文将介绍如何通过影子集、重采样和切片规则来保持仪表板的真实性。
分层内存压缩：你的智能体内存缺失的四个层级
大多数 LLM 智能体内存将四个层级压缩为两个 —— 缓冲区和向量存储。工作记忆、会话记忆、情节记忆和语义记忆各自都需要独立的层级。
多步 Agent 的延迟预算：为什么 P50 会说谎，而 P99 才是用户的真实感受
多步 Agent 在中位数延迟上看起来很快，但在尾部延迟上却让人感觉很慢。本文将探讨为什么系统组合会惩罚 P50 仪表板，以及如何设计符合用户实际体验的延迟预算。
你的 LLM 账单只占 Agent COGS 的一半 —— 另一半是无人监控的部分
推理仅占 Agent 真实成本的 40-60%。另一半则隐藏在向量数据库、检索嵌入、遥测、重试、评估和人工审核中 —— 而这些成本往往没有明确的归口团队。
无人测试的隐私边界：为什么“无状态”工具是 AI 时代的 IDOR
“无状态” AI 工具调用是如何通过共享缓存、向量库和记忆模块在租户之间悄悄泄露数据的 —— 以及如何在客户发现之前捕获这些问题的审计协议。
为什么你的提示词库应该是 Monorepo，而不是 Cookbook
Cookbook 模式的提示词文件夹在规模化时会失效。应用 Monorepo 规范——语义化版本控制、依赖图、原子重构和评估门禁——以防止提示词漂移、幽灵依赖和迁移瘫痪影响生产环境。
工具调用顺序是偏序，而非集合
大多数生产环境中的 Agent 将其工具集视为一个无序的能力包。实际上，它是一个偏序关系，而 Bug 就隐藏在那些无人声明的依赖边界中。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
