边缘推理决策框架：何时在本地而非云端运行 AI 模型

大多数团队在做“云端 vs. 边缘”的决策时往往凭直觉：因为云端更简单，所以他们默认选择云端。直到 HIPAA 审计来袭，或者延迟 SLO 下降了 400 ms，亦或是收到了当月的账单。只有到那时，他们才会反思是否某些推理本来就应该在本地完成。

答案几乎永远不会是“全云端”或“全边缘”。大规模运行生产级 AI 的团队已经达成共识，采用了分层架构：由设备端或本地模型处理大部分请求，而云端前沿模型则负责处理小模型无法应对的情况。正确处理这种路由是一个工程决策，而不是一种直觉。

这就是进行严谨决策的决策框架。

“边缘”究竟意味着什么

“边缘推理”并非单一概念。它涵盖了一系列部署目标，每个目标都有不同的权衡：

• 设备端（手机、笔记本电脑、可穿戴设备）： 模型权重存在于终端用户的硬件上。例如使用 Apple Silicon 的 iOS/macOS、通过 MediaPipe 的 Android、通过 llama.cpp 的笔记本电脑。可用 RAM：手机上为 4–16 GB，M 系列 Mac 上最高可达 128 GB。
• 本地服务器（On-premise）： 企业数据中心内的专用 GPU 服务器。你掌控硬件，数据永远不会离开你的网络。例如：一家医院在内部服务器上运行 Llama 3，或者一家律师事务所在防火墙后部署 Mistral。
• 区域边缘节点： 推理部署在靠近用户的 CDN 节点（PoP）或电信基础设施中。与中心云相比，具有 30–80 ms 的延迟优势，且没有完全的设备端限制。
• 专用边缘加速器： NVIDIA Jetson AGX Orin、Hailo-10H NPU、Qualcomm AI Box。专为工业和汽车环境中的持续推理而设计。

云端推理是对比的基准：你的应用向供应商管理的 GPU 集群发送网络请求，等待响应，并按 token 付费。没有硬件成本，但每次调用都要跨越网络。

决策的四个维度

1. 延迟要求

仅网络往返就会耗费 20–300 ms，具体取决于地理位置。对于大多数聊天应用来说，这是不可察觉的。但对于语音 AI 来说，这是灾难性的。

一个典型的云端语音流水线如下：音频采集（40 ms）→ 语音转文本（350 ms）→ LLM（375 ms）→ 文本转语音（100 ms）→ 网络跳转（50 ms）= 总计约 915 ms。人类对对话延迟的感知始于 500 ms 左右。在 915 ms 时，交互会让人感到支离破碎。

边缘推理消除了网络组件。一些供应商通过将推理与电信基础设施并置在同一个数据中心，实现了低于 200 ms 的音频往返——这不是云端，也不是设备端，而是基础设施边缘。

对于交互式文本生成：一个在 Apple Silicon 上通过 llama.cpp 运行的 7–8B 量化模型，每秒可生成 60–120 个 token，并且对于大多数提示词，首个 token 的响应时间低于 100 ms。同类模型的云端 API 每秒提供 50–80 个 token，首个 token 响应时间为 200–400 ms。纸面上看两者相似，但实际上，波动性（variance）至关重要：云端 p99 延迟在负载下可能飙升至 2–5 秒；而本地推理是确定性的。

经验法则： 如果你的端到端延迟 SLO 低于 300 ms，云端方案就比较勉强。如果低于 150 ms，几乎肯定需要边缘方案。

2. 数据隐私与驻留

HIPAA、GDPR、欧盟 AI 法案（2024 年 8 月）以及金融和法律领域的特定行业监管，都对数据的传输路径提出了严格限制。

零数据留存架构——即用户输入永远不会离开设备——只能通过设备端推理实现。如果你的推理调用穿越了第三方 API，你就无法构建符合 GDPR 的零留存保证架构。

2025 年的一个微妙发展是：欧盟现在将记忆了个人数据的模型视为本身可能构成个人数据。如果你的云供应商在没有明确许可机制的情况下使用你的用户数据进行微调，模型权重本身可能带来合规风险。

本地推理完全避开了这些问题。对于受监管行业，技术架构问题与合规问题其实是同一个问题。

3. 成本结构

云端推理按 token 计费。边缘推理具有固定的硬件成本，且每次推理的边际成本几乎为零。平衡点取决于请求量和利用率。

一个具体的对比：运行一个 7B 等效任务的云端 API 调用，按当前前沿模型定价，每次响应成本约为 1.65 美元。在运行 3B 量化模型的 Jetson Nano 上进行相同的推理，每次响应成本约为 0.0017 美元——在持续负载下便宜了约 970 倍。在每天 100 万次请求的情况下，计算得出的边缘成本为 1.7 美元/天，而云端成本为 1,650 美元/天。

这是一个极端的案例。对于大多数团队来说，真正的对比涉及较小的业务量差异和推向更大模型的高质量要求。关键问题是：在什么样的请求量下，拥有一台 GPU 服务器的成本会低于云端 API 调用？在每天低于约 20 万个 token 时，天平向云端倾斜；在负载可预测且超过 1000 万个 token/天时，天平则严重向边缘倾斜。

注意：边缘方案需要资本支出（CapEx）、专门的运维以及对利用率的约束。云端可以缩减至零；而边缘硬件无论你是否使用都会贬值。对于周期性出现 10 倍峰值的突发工作负载，应保留在云端，或将云端作为溢出层。

4. 模型能力与更新频率

这是大多数团队低估边缘端限制的地方。

能力天花板： 目前你可以在边缘硬件上运行的最佳模型通常为 7B–13B 参数（INT4 量化）。它们在分类、意图检测、简单 RAG、指令遵循和结构化提取方面表现良好。但在复杂的多步推理、前沿质量的代码合成、超过 32K token 的长上下文综合以及需要训练截止日期后世界知识的任务中，它们会失败。

在 MMLU 上，一个经过良好微调的 7B 模型得分约为 69%。GPT-4 级别的模型得分在 86–90% 之间。对于许多企业任务，69% 已经足够；但对于高风险决策，则并非如此。

能力冻结： 这是端侧 AI 中最被低估的运营风险。当一个模型被编译并打包在应用内部（如 ExecuTorch AOT、Core ML .mlpackage、或捆绑在 APK 中的 GGUF）时，它的能力水平会被冻结，直到下一个应用更新周期。与此同时，开源模型进步飞速：Llama 3 → 3.1 → 3.2 → 4 全部在 18 个月内发布。Q1 发布的模型到了 Q4 可能会落后整整两个代差，且无法更新那些没有接受应用更新的用户。

模型权重中的安全漏洞（如越狱、对抗性提示词）可以在云端几小时内修复。端侧补丁则需遵循应用商店的审核周期：从几天到几周不等。安全更新无法像在云端那样，通过 OTA 方式部署到边缘设备。

如果你的用例需要保持最新的模型能力，或者你的威胁模型包含对抗性提示词攻击，那么云端架构在安全性上比边缘端更胜一筹。

量化权衡

边缘部署需要模型压缩。关键参数是体积减少与质量损失的权衡：

加载中…