大多数采用知识蒸馏的团队，都在错误的理由和错误的时机下做出了这个决定。他们看到一个70B模型吞噬了推理预算，读到蒸馏可以产出一个"同样出色"的7B学生模型，便立即开干。六周后，他们得到了一个在验证集上表现良好的蒸馏模型，上线后却开始大规模输出自信满满的废话。验证集来自与教师模型合成训练数据相同的分布，而真实流量并非如此。
蒸馏是一种优化工具，而非能力升级手段。只有在特定条件下，经济账才算得过来——而且失败模式足够隐蔽，团队往往要等到用户先发现问题。
蒸馏究竟做了什么
知识蒸馏是训练一个较小的学生模型来复现较大教师模型在特定任务上行为的过程。对于LLM而言，主流方法很直接：用教师模型生成大量展示任务的合成数据集，再在该数据集上微调学生模型。
Google"Distilling Step-by-Step"研究的核心洞见是：教师不必只生成最终答案——它可以生成学生能够内化的中间推理步骤。采用这种方法，一个7.7亿参数的T5模型在自然语言推理任务上超越了5400亿参数的PaLM模型，同时仅使用了80%的训练数据。学生并不比教师更聪明；它只是为一个狭窄任务学到了一条高效捷径。
这既是蒸馏的力量，也是其局限。一个训练良好的蒸馏模型可以比所训练的前沿模型快130倍、便宜25倍。但这种效率是领域专属的，其脆弱性并不能从基准数字中看出来。
真正重要的成本计算
蒸馏的ROI计算有一个简单结构，大多数团队在同一个方向上算错：低估训练成本，高估推理节省。
训练成本包括：生成合成数据的教师推理（通常是数百万次API调用）、学生训练的GPU计算（通常在2-8块GPU上跑1-2周）、数据过滤和质量验证，以及随着任务演进的持续维护。从前沿教师蒸馏一个7B学生的现实训练预算，仅计算成本就需5,000至30,000美元，还不算人力。
推理节省取决于规模。一个7B模型在2块A100上运行，2026年大约每月3,000美元。一个前沿70B模型在8块H100上，大约每月14,000美元。差距不小——但前提是你真的在满负荷运行这些机器。大多数"中等规模"的团队并非如此。
盈亏平衡公式为：
盈亏平衡（月数）= 训练成本 / 每月推理节省若该数字超过6个月，需认真考量。若超过12个月，蒸馏几乎肯定是错误工具。改用提示工程优化、更便宜的前沿API层级，或通过RAG减少每次查询的token数。
反直觉的是，随着前沿模型定价在2024-2026年间下降约80%，蒸馏的优势已从纯粹节省API成本转移到延迟和部署约束上。今天，最强的理由是蒸馏到1.5B-3B模型可在手机神经处理器（如苹果Intelligence所做）或边缘硬件上运行，完全消除网络往返。这是与云推理成本完全不同的经济计算。
三个值得蒸馏的场景
高吞吐量、窄领域分类。 每月数千万次请求的文本分类、路由、内容审核、情感评分。任务稳定，教师可生成高质量合成示例，规模足以证明训练投资合理。亚马逊已证明，经过妥善蒸馏的模型可以以130倍更低的推理成本在分类任务上匹配前沿模型性能。关键词是"妥善"——需要仔细的合成数据过滤，而非批量生成。
延迟敏感的实时推理。 无论成本如何，前沿API调用都无法满足的100毫秒以下要求。面向用户的自动补全、实时内容审核、设备端NLP。这里蒸馏的胜出不是因为月账单，而是物理规律使然。
隐私受限或气隙环境。 不能离开私有网络的医疗数据、有严格数据驻留要求的金融系统、离线运行的工业控制应用。蒸馏使得在云API访问从结构上不可用的环境中运行有能力的模型成为可能。
数字不划算的情况
最让团队吃惊的ROI场景是：蒸馏在纸面上看起来不错，但实践中失败：
推理量低于预期。 如果平均每小时500次请求，你不需要专用硬件——也不需要按小时支付前沿API价格。在中等规模下，蒸馏模型（预留实例）与前沿API之间的成本差，通常在每月200-500美元之间。以15,000美元的训练成本，这意味着30个月的回收期。继续调用API吧。
任务在持续演进。 蒸馏模型是在任务快照上训练的。如果分类模式每季度变化、产品需求转移或输入数据分布漂移，你就面临重新训练周期。每次重训又是5,000-30,000美元的事件。在人工标注数据上微调或调整提示词，迭代成本要低得多。
教师模型本身表现不佳。 蒸馏传递的是教师所知道的。如果教师通过提示只能达到70%的任务准确率，学生的上限就在这以下。先提升教师的表现——通常通过更好的提示、检索增强或示例。只有在教师确实表现出色时才进行蒸馏。
团队没预料到的失败模式
余下内容仅对会员开放。
会员可读完整内容 —— 每一个公开发布的观点背后，那些框架、决策与推理的全貌。
- 完整文章，包含未公开存档的部分
- 可落地的工作框架，附带权衡与决策依据
- 新文章抢先看，先于公开发布
随时取消 · 一次订阅，畅读全部