·tian
Tokenizer 税：除了英语，你的 AI 功能在所有其他语言中成本更高且表现更差
同一个 AI 功能，在日语或阿拉伯语中的服务成本比英语高出 2-3 倍，且质量明显较差——然而大多数团队在进行全球发布时仅使用单一的英语评估套件。本文探讨 Token 肥沃度如何驱动各地区的成本、上下文和准确性，以及在全球发布前需要衡量哪些指标。
insider
llm
tokenization
internationalization
+2·tian
多语言评估成本放大效应：为什么七个语种的成本不只是 7 倍
你的英文评估套件花费了 4 万美元。七个语种的国际化发布成本并不会只是 28 万美元 —— 真实的增长曲线更接近于 N×L^1.3，因为跨语种对比是一种无法分解的元评估（meta-eval）。
insider
ai-engineering
evaluation
internationalization
+1