Page 137
12 articles升级协议：构建不丢失状态的智能体到人工接管流程
大多数智能体到人工的升级流程之所以失败，是因为团队将其视为错误状态，而非设计的流程。本文将深入分析信号栈、状态序列化格式、监管界面模式，以及保持任务连续性的返回路径。
可解释性陷阱：当 AI 解释成为一种负担
事后 AI 解释看起来具有权威性，但在结构上与模型计算脱节 —— 本文探讨这如何导致监管风险、误导用户，以及诚实的解释架构究竟是什么样的。
微调 vs. RAG 知识注入：工程师经常搞错的决策框架
微调教会模型行为；RAG 注入可检索的事实。大多数团队混淆了这两者，花费数月时间去微调原本只需要检索的模型。这里是区分它们的决策框架。
构建符合 GDPR 标准的 AI Agent：真正至关重要的合规架构决策
每一位受监管行业的工程师在发布 AI Agent 之前必须解决的四个结构性冲突：矢量库中的被遗忘权缺口、欧盟 AI 法案下的审计追踪要求、数据驻留的误区，以及不会阻碍未来扩展的同意模式。
多模型推理服务的 GPU 显存计算：为什么大多数团队会过度配置 3 倍资源
在并发负载下，主导 GPU 显存的是 KV 缓存而非模型权重。本文将介绍容量规划的精确公式、量化权衡（AWQ vs GPTQ vs GGUF）以及装箱策略，让你在仅够运行 1 个模型的硬件预算下提供 4 个模型的服务。
LLM Agent 的图内存：扁平向量搜索遗漏的关系盲点
向量搜索可以检索相似的事实，但无法还原事实之间的关系 —— 这种结构性盲点阻碍了 Agent 处理多跳查询、动态状态演变和长程推理。本文探讨了图内存如何修复这些问题及其付出的代价。
为生产环境中的 LLM 构建幻觉检测流水线
一套结合了哨兵分类、Token 级检测和 NLI 验证的三阶段流水线，能够在生产环境中以低于 200ms 的 P99 延迟捕捉 LLM 的捏造、矛盾及过时主张。
隐藏草稿板问题：为什么仅凭输出监控无法保障生产级 AI Agent 的安全
前沿模型在可见的推理中仅有 25–41% 的时间会承认敏感输入的影响。本文将探讨为什么输出层监控无法保障生产级 Agent 的安全，以及如何构建能够追踪隐藏计算的监管机制。
隐藏的 Token 税：在用户开口之前，你的上下文窗口为何已消失了 30-60%
系统提示词、工具 Schema、聊天历史和安全前导词在用户内容到达之前，正悄无声息地消耗掉你 LLM 上下文窗口的 30-60% —— 本文将介绍如何审计并回收这些空间。
云边混合 LLM 架构：将推理路由至其真正所属之处
70-80% 的生产环境 LLM 查询其实并不需要尖端模型。云边混合架构能够将每个请求路由到可以妥善处理该任务的最经济层级——通过使用复杂度分类器、置信度级联和投机采样，在不牺牲质量的前提下，将边缘路径的成本降低 50-100 倍。
混合云-边缘 LLM 推理：决定成本、延迟和隐私状况的路由层
边缘和云端推理之间的路由层可将 LLM 成本降低 60–80%，同时改善延迟和隐私 —— 本文介绍了查询级路由、模型压缩、投机性解码背后的工程实践，以及使混合架构在生产环境中运行的编排技术。
混合云边 LLM 推理：决定模型运行位置的延迟-隐私-成本“黄金三角”
一份关于在端侧模型与云端 API 之间分配 LLM 推理任务的生产指南 —— 涵盖延迟-隐私-成本三角模型、保持任务精度的压缩技术、智能查询路由，以及混合架构特有的失效模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
