1 含有标签「tokenizers」

使所有 Prompt 缓存前缀失效的分词器升级

一次分词器的变更可能会在其他所有信号显示正常的情况下，让你的 Prompt 缓存命中率在一夜之间从 80% 跌至个位数。本文将探讨哪些环节会出问题、为什么这种现象难以察觉，以及你应该监控哪些指标。