Posts tagged "distillation" on TianPan.co.
查看所有标签
蒸馏通过有限的样本优化散度，并根据有限的评估集进行交付。评估集未测量的行为是学生模型可以自由丢弃的熵 —— 而它首先丢弃的，通常是那些罕见但关键的能力。
蒸馏是一个关于你牺牲哪些能力以解锁成本底线和延迟底线的产品决策 —— 而不是研究团队的优化。一个前沿模型功能及其蒸馏变体是两个产品，而不是一个产品的两种实现。
