断连代理模式：为不稳定的网络环境进行设计
大多数 AI 代理技术栈都假设网络始终在线。但在飞机上、地下室或不稳定的 Wi-Fi 环境中，这一假设就会失效。本文将探讨离线优先架构的实际运作机制。
端侧 AI 需要的是机群管理器，而非模型卡片
为每个用户推送相同的端侧模型，意味着你要么在旗舰机上空耗电池，要么在长尾设备上交付降级的产品。解决这一问题的工程准则更像是一个 CDN，而不是模型注册表。
没人讨论的端侧 LLM 问题：模型更新传播
将 LLM 部署到边缘设备会创建一个没有中央回滚机制的分布式系统——版本碎片化、无声的能力漂移，以及在基准测试中根本不会暴露的制品集合不匹配问题。
生产环境中的端侧 LLM 推理：何时选择边缘模型以及它们的实际成本
在 iOS、Android 和浏览器上运行 LLM 推理的隐私、延迟和离线优势——以及质量与体积的权衡、成本计算，以及在上线六个月后让团队深陷困扰的模型更新问题。
边缘AI推理：将推理从云端迁移的决策框架
面向工程师的实用决策框架：何时将LLM推理迁移到边缘端——延迟阈值、成本盈亏平衡分析、量化质量损耗，以及分割推理架构。
压缩决策：延迟敏感型 AI 功能的量化、蒸馏与端侧推理
当模型路由已不够用，你需要低于 100ms 的响应时间时，就面临一个艰难的压缩决策。本文介绍如何在不破坏关键任务质量的前提下，权衡量化、蒸馏和混合边缘云部署。
端侧 LLM 推理：何时将 AI 迁出云端
一个关于端侧 LLM 推理何时优于云端 API 的实用决策框架 —— 涵盖隐私需求、成本计算、质量权衡以及那些无人预警的部署难题。
边缘 LLM 推理：当延迟、隐私或成本迫使你离开云端
一个在单 GPU 上微调的 7B 模型可以在特定领域以零边际 token 成本击败 GPT-4。关于硬件选型、量化格式、混合本地-云端路由以及使边缘 LLM 推理达到生产级别的部署框架的实用指南。
云边混合 LLM 架构：将推理路由至其真正所属之处
70-80% 的生产环境 LLM 查询其实并不需要尖端模型。云边混合架构能够将每个请求路由到可以妥善处理该任务的最经济层级——通过使用复杂度分类器、置信度级联和投机采样，在不牺牲质量的前提下，将边缘路径的成本降低 50-100 倍。
混合云-边缘 LLM 推理：决定成本、延迟和隐私状况的路由层
边缘和云端推理之间的路由层可将 LLM 成本降低 60–80%，同时改善延迟和隐私 —— 本文介绍了查询级路由、模型压缩、投机性解码背后的工程实践，以及使混合架构在生产环境中运行的编排技术。
混合云边 LLM 推理：决定模型运行位置的延迟-隐私-成本“黄金三角”
一份关于在端侧模型与云端 API 之间分配 LLM 推理任务的生产指南 —— 涵盖延迟-隐私-成本三角模型、保持任务精度的压缩技术、智能查询路由，以及混合架构特有的失效模式。
混合云边 LLM 推理：端侧模型何时优于云端
生产团队正将 60–80% 的 LLM 查询路由到端侧模型——将延迟降低到 20 ms 以下，消除了数据驻留的烦恼，并大幅削减了云端推理成本。这是一份关于混合云边推理背后的路由、压缩和架构模式的实用指南。