知识蒸馏经济学：压缩尖端模型何时能真正产生回报

大多数在 GPT-4o 上砸钱的团队首先尝试的都是同一件事：换成更便宜的模型。GPT-4o mini 的单 token 价格便宜了 16.7 倍，Llama 3.1 8B 甚至可以几分钱就完成私有化部署。但质量的下降会导致生产环境崩溃 —— 在前沿模型上得分 94% 的分类任务在较小模型上跌至 71%，或者提取流水线开始幻觉出源文档中根本不存在的字段。因此，团队要么留在昂贵模型上继续付费，要么接受质量下降。

知识蒸馏提供了第三条路径：专门训练一个小模型，让它在你的特定任务上复制大模型的行为，而不是追求通用语言理解。如果方法得当，你可以用小模型的速度和成本获得接近前沿模型的准确率。如果方法不对，你就会以 10 倍的生产规模继承教师模型“自信地犯错”。本文将讨论你会得到哪种结果，以及这种方案在经济上何时真正可行。

什么是蒸馏（以及它不是什么）

微调通过在有标签示例上训练，使预训练模型适应新任务。你给它输入和正确的输出，它学习其中的映射。而蒸馏则不同：学生模型不是从真实标签（ground-truth labels）中学习，而是从教师模型的输出分布中学习 —— 即所有可能下一个 token 的完整概率分布，而不仅仅是概率最大的那一个（argmax）。

这很重要，因为语言模型的“软输出”比胜出的 token 包含多得多的信息。当教师模型在情感分析示例中将 45% 的概率分配给“积极”，35% 分配给“中性”，20% 分配给“消极”时，它表达了对边界情况的微妙不确定性。只从“积极”这个“硬标签”中学习的学生模型会错过所有这些信息。通过从完整分布中学习 —— 通常配合温度缩放（temperature scaling）来进一步软化分布 —— 可以让学生模型内化教师模型的校准能力，而不仅仅是其表层行为。

推荐的生产模式是“先微调后蒸馏”：首先在你的领域数据上微调大型前沿模型，以创建最好的教师模型，然后将该教师模型蒸馏到更小的学生模型中。跳过教师模型微调步骤 —— 直接从通用前沿模型蒸馏到学生模型 —— 虽然可行，但会损失一部分潜在的性能。

盈亏平衡计算

蒸馏经济学中的核心问题很简单：前期投入相对于持续的推理成本是否划算？

蒸馏成本 = (合成训练数据 token 数 × 教师模型 API 费率) + (学生模型训练算力)

每笔查询节省额 = (教师模型推理成本) − (学生模型推理成本)

盈亏平衡查询量 = 蒸馏成本 ÷ 每笔查询节省额

按目前的定价，GPT-4o 的价格大约是每百万输入 token 2.50 美元，每百万输出 token 10 美元。GPT-4o mini 是 0.15/0.60 美元 —— 便宜了约 16.7 倍。如果你每月向 GPT-4o 发起 100 万次 API 调用，平均输入 500 token，输出 200 token，那么每月的费用约为 3,250 美元。同样的流量在 GPT-4o mini 上（如果质量达标）成本不到 200 美元。其中的差价足以在几周内覆盖蒸馏的投资成本。

但私有化部署的情况更具吸引力。一个 8B 参数的学生模型需要约 16GB 显存，在单个加速器上的响应时间不到 100 毫秒。在合理的 GPU 利用率下，私有化部署的推理成本约为每百万 token 0.03–0.05 美元 —— 对于高吞吐工作负载，这比前沿模型的 API 便宜了约 50–100 倍。Amazon 的生产级分类系统使用从前沿大语言模型教师中蒸馏出的 BERT 规模的学生模型，与直接调用教师模型相比，实现了 130 倍的推理速度提升和 25 倍的成本降低。

显然，经济效益在大规模应用时更有利于蒸馏。团队容易栽跟头的地方在于低估了“量级门槛”。如果每月查询量低于约 10 万次，生成教师训练数据和运行学生训练周期的前期成本很难在合理的时间周期内摊销。蒸馏是一种针对高吞吐量的优化，而不是针对小规模工作负载的预算优化。

三种真正行之有效的蒸馏模式

针对特定任务选择正确的蒸馏策略至关重要。

针对推理任务的思维链（Chain-of-thought）蒸馏。 对于需要多步推理的任务 —— 数学、结构化分析、代码生成、复杂问答 —— 仅针对最终答案训练学生模型会产生脆弱的模型，稍微改变措辞就会失败。更强大的方法是在训练数据中包含教师模型的完整推理轨迹，而不仅仅是输出结果。DeepSeek-R1 的开源蒸馏生动地证明了这一点：一个使用来自 R1 模型的 80 万条思维链推理轨迹训练的 7B 学生模型，在 AIME 2024 上达到了 55.5% 的准确率，而 OpenAI 的 o1-mini（一个更大、更昂贵的模型）仅为 37.3%。这个学生模型学会的是推理，而不仅仅是对输出进行模式匹配。

针对分类任务的 Logit 匹配。 当你的任务是分类、实体提取或任何具有固定输出空间的情景时，基于响应的蒸馏（匹配教师模型的完整输出概率分布）是最有效的方法。软标签编码了被硬标签破坏的类间关系。Amazon 在 335 类产品分类上的生产部署就是这样运作的：学生模型在数百万个示例上针对教师模型的完整输出分布进行训练，并使用主动学习（active learning）在表现不佳的区域生成难负样本（hard negatives）。最终结果以极低的推理成本达到了教师模型的准确率。

针对编程和智能体（Agent）的 On-policy 蒸馏。 标准蒸馏（off-policy）在教师生成的示例上训练学生模型。对于代码生成或长时程智能体工作等任务，这会产生分布不匹配：学生模型自己生成的序列前缀看起来与教师训练时的情况不同，导致在多步任务中产生复合误差。On-policy 蒸馏通过让学生模型生成自己的候选结果，同时由教师模型提供评分或修正信号来解决这个问题。计算开销更高 —— 你在训练期间同时运行两个模型 —— 但复杂任务的质量得到了实质性的提升，特别是对于那些错误会级联发生的任务。

过度自信的错误问题

这是那些没有预料到它的团队会遇到的失效模式。

当教师模型出错且过度自信时——对错误答案分配了极高的概率——驱动蒸馏训练的 KL 散度损失会积极地奖励学生模型去匹配这种过度自信。学生模型学到的不是“我的老师在这里犯了错”；它学到的是“这是一个高置信度的案例，相应地进行优化”。错误被高保真地编码了。

在涵盖标准图像和文本分类基准的受控研究中，即使是维持了整体准确率的蒸馏运行，在 41% 的单个类别中也表现出统计学上显著的准确率下降。总体数字看起来不错；但按类别细分后可以发现，学生模型对教师模型的偏见产生了过拟合。

对于长尾分布，情况会变得更糟。当教师模型偏向于频繁类别时——基本上所有模型都是如此——KL 损失会放大训练学生模型时的这种偏见。学生模型继承的不只是教师模型的知识，还有它的盲点，并且由于其自身容量的减少而变得更加严重。

几种缓解措施会有所帮助：

• 更高的蒸馏温度可以平滑教师模型的分布，减少指向任何单个 token 的梯度压力。在足够高的温度下，学生模型的公平性实际上可以超过教师模型。
• 置信度门控训练在教师模型对模糊示例的置信度超过阈值时忽略教师模型的软标签，从而防止最极端的过度自信错误转移。
• 校准感知蒸馏在计算 KL 损失之前，使用批次级统计数据对教师模型的 Logits 进行归一化，系统性地减少过度自信的传播。

实际意义是：不应将蒸馏模型视为与其教师模型具有相同信任配置文件的黑盒。在对安全性要求极高或对合规性敏感的应用中——医疗文档、法律文本分析、金融风险分类——有必要进行额外的红队测试，专门针对教师模型置信度最高的类别，因为在这些案例中，错误的答案将造成最严重的影响。

现实世界的成果：规模化应用中的实际情况

除了研究论文，几个生产部署案例也说明了现实中的结果范围。

GPT-4o mini 代表了知名度最高的蒸馏部署：它在 MMLU 上达到了 82%，而成本比 GPT-4o 低 16.7 倍，并且在 Arena 基准测试的聊天偏好上实际上超过了原始的 GPT-4。这是最理想的情况——多年来在蒸馏方法论上的投入、庞大的数据预算以及一个前沿质量的教师模型。

Apple 的端侧语言模型（约 3B 参数）在 iPhone 15 Pro 上以每秒 30 个 tokens 的速度运行，首个 token 延迟为 0.6 毫秒。它是从一个更大的服务器端模型蒸馏而来的，并进行了额外的压缩（2-bit 量化、LoRA 适配器）。它在摘要提取、实体提取和短文本生成方面表现出色——这正是蒸馏能很好处理的窄任务范畴。

Spotify 将一个大型 TTS 模型蒸馏成一个在推理时不需要昂贵的 CFG 采样步骤的学生模型。模型大小减半，而质量没有明显的下降。关键在于将增强了 CFG 的教师输出分布直接蒸馏到学生模型中，教会它内化这种改进，而不是在推理时才进行计算。

Google 的 Gemma 2 系列（2B 和 9B 参数）在蒸馏的同时使用了 token 过度训练。Gemma 2 9B 达到的 Elo 分数与 2023 年的 GPT-4 相当，而推理成本仅为后者的一小部分——这对于开放权重部署来说是一个显著的结果。2B 模型在 Arena 偏好上超过了 GPT-3.5 Turbo。

所有这些部署中的模式是：蒸馏在任务明确、输出模式清晰、推理量大且教师模型在蒸馏步骤之前已在领域数据上进行过微调的情况下效果最好。而在开放式任务、高度动态的领域以及教师模型本身校准不佳的情况下效果最差。

决策框架

基于以上所有内容，这里有一个供工程团队评估蒸馏的实用决策框架。

在以下情况下，蒸馏可能是正确的选择：

• 每月推理量超过 10 万次查询且正在增长
• 任务范围窄且定义明确（分类、提取、结构化生成、特定语言的编码）
• 微调后的前沿模型达到了质量目标，但推理成本难以承受
• 数据隐私要求或延迟限制使得必须进行自托管
• 你有工程带宽来生成合成数据并维护双模型依赖

在以下情况下，蒸馏是错误的选择：

• 推理量较低——直接微调一个较小的基础模型更便宜且更简单
• 任务需要较小的学生模型架构无法支持的开放式泛化
• 教师模型未在你的领域进行过微调——从通用教师模型进行的蒸馏效果会很平庸
• 应用属于安全关键型，且你在没有广泛验证基础设施的情况下无法承受过度自信的错误
• 你的领域变动频繁——每一次重大转变都需要重新生成合成数据并重新训练

被低估的折中方案： 在许多情况下，在进行蒸馏之前，正确的做法是直接在较小的托管模型上进行提示词优化。在结构化任务上，GPT-4o mini 上一个精心设计的 few-shot 提示词通常能达到 GPT-4o 质量的 85–90%，且成本降低 16.7 倍，无需前期投入。先进行这种对比。当你用尽了提示词优化手段而质量差距依然存在时，蒸馏才有意义。

蒸馏无法做到的事

有两个基本的局限性值得深入理解。

首先，标准蒸馏无法超越教师模型的表现。学生模型受限于教师模型的质量。这就是为什么最近最引人注目的工作是将蒸馏与强化学习 (RL) 结合起来：DeepSeek-R1 的完整训练流水线利用蒸馏为学生模型提供一个强大的起点，然后通过 RL 推向超越教师模型直接演示的水平。对于那些你需要超越前沿模型——而不仅仅是廉价地与之匹配——的任务，单靠蒸馏是无法实现的。

其次，蒸馏模型在面对分布偏移 (distribution shift) 时，表现得比教师模型更脆弱。容量的减小意味着学生模型在优雅地处理分布外 (out-of-distribution) 输入方面的余量更少。部署了蒸馏模型后便停止监控的团队，通常会发现错误率在 6–12 个月内逐渐攀升，因为实际流量分布偏离了合成训练数据的分布。蒸馏并非一种“部署后即可高枕无忧”的优化手段；它需要持续的监控和周期性的重新训练。

经济效益是实实在在的，但也伴随着相应的责任。如果一个团队将蒸馏模型仅仅视为一种“一劳永逸”的降本手段，那么他们往往会在部署六个月后发现无声的质量回退。