1 含有标签「llm-deployment」

量化衰减：你的评估集从未预见到的能力税

将 LLM 从 fp16 量化到 int4 实际上是发布了一个披着相同权重外壳的不同模型。针对原模型校准的评估套件会无声地给出错误的评分——在客户发现之前，你需要为这些能力衰减做好预算。