Page 138
12 articles混合云边 LLM 推理：端侧模型何时优于云端
生产团队正将 60–80% 的 LLM 查询路由到端侧模型——将延迟降低到 20 ms 以下，消除了数据驻留的烦恼，并大幅削减了云端推理成本。这是一份关于混合云边推理背后的路由、压缩和架构模式的实用指南。
如何在 CI 中对 AI Agent 工作流进行集成测试，而无需完全 Mock 模型
一种针对 AI Agent 的三层 CI 测试架构，既能避免实时 API 调用产生的成本，也能避免完全 Mock 模型带来的空洞感 —— 通过使用 StubLLM 测试替身、VCR 录制回放以及工具契约测试，在编排 Bug 进入生产环境前将其捕获。
意图鸿沟：当你的 LLM 完美回答了错误的问题
意图不一致导致了 32% 的 LLM 答非所问 —— 模型虽然回答了字面上的问题，却忽略了用户的真实需求。本文将探讨为什么这种现象能逃过你的评估，以及如何缩小这一鸿沟。
LLM 排队论：为什么你的负载均衡器按请求思考，而你的 GPU 按 Token 思考
将利特尔法则、优先级队列和准入控制应用于基于 Token 的 LLM 推理工作负载——探讨为什么请求级负载均衡会失效，工作保留调度器如何释放额外 30-70% 的 GPU 吞吐量，以及防止生产环境意外的容量规划数学。
LLM 请求生命周期是一个状态机 —— 像对待状态机一样对待它
LLM 请求并非线性的 —— 它们会悄无声息地穿越重试、降级和验证状态，而大多数团队从未对这些状态进行埋点。将请求生命周期建模为显式的有限状态机，可以使每一次转换都变得可见、可调试且成本可归因。
你的 try/catch 漏掉的 LLM 请求生命周期
将 LLM 调用封装在 try/catch 中只能捕获简单的失败。采用状态机方法可以将重试、降级、校验和升级路径变为一等可观测状态 —— 并揭示那些返回 HTTP 200 的失败模式。
长周期评估鸿沟：为什么你的智能体通过了所有基准测试却仍在生产环境中失败
单轮基准测试为生产环境中的 AI 智能体提供了一种虚假的安全感。在 SWE-Bench Verified 上得分 75% 的模型，在真实的工程任务中往往会骤降至 25% 以下——本文将探讨这种差距的结构性原因，以及如何构建能够捕捉这些问题的评估体系。
MCP 服务端供应链风险：当你的智能体工具成为攻击向量
第三方 MCP 服务端是 AI 智能体领域的新一代 npm left-pad 问题。从 Postmark 邮件外泄到 mcp-remote 命令注入，真实的漏洞案例揭示了五种攻击向量以及在不破坏可组合性的前提下降低风险的分层防御模式。
生产环境中的 MoE 模型：稠密模型基准测试所掩盖的服务特性
稀疏 MoE 模型所需的 GPU 显存是其激活参数量的 8.6 倍，且表现出稠密模型监控容易忽略的延迟波动，并打破了朴素的批处理假设。本文将深入分析基准测试中经常忽略的服务端细节。
模型指纹识别：在后端模型静默切换破坏你的评估系统前发现它
当你的 LLM 供应商在稳定的 API 端点背后静默更新模型时，你的评估测试可能依然通过，但用户却能感觉到差异。本文介绍一套指纹识别和漂移检测技术栈，帮助你第一时间捕获这类变动。
模型迁移指南：如何在不破坏生产环境的情况下更换基座模型
一份在生产环境中安全迁移基座模型的分步指南 —— 涵盖影子测试、嵌入向量重新索引、提示词适配、金丝雀发布，以及区分两周完成更换与两个月完成更换的组织协调工作。
模型迁移指南：如何在不冻结功能开发的情况下更换基础模型
一份分阶段的生产环境指南，用于更换 LLM 基础模型——涵盖了影子部署、跨供应商的提示词重构、嵌入模型重新索引策略，以及为什么仅凭你的评估套件无法捕捉到那些至关重要的回归问题。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
