Posts tagged "knowledge-distillation" on TianPan.co.
查看所有标签
当基础模型被废弃时，微调后的领域专业知识不会自动迁移。三条恢复路径——行为蒸馏、重新标注和提示编码——以及提前规划的重要性。
将前沿模型压缩为专用小模型的真实成本计算——蒸馏何时优于微调、何时不适用，以及学生模型继承教师模型自信错误的失败模式。
