·tian
你的模型路由是一个看不见负载的负载均衡器
模型路由在模型执行任何操作之前就决定了由哪个模型处理查询 —— 但它所需的难度信号仅存在于答案中。本文将探讨为什么分类器准确率会带有误导性，为什么错误路由看起来像是平庸的质量而非明显的错误，以及如何监测真正随路由质量波动的下游信号。
llm-routing
model-cascades
evaluation
production-ml
+1·tian
你的模型路由是基于评估集训练的，而不是你的真实流量
基于基准测试训练的路由器会带来隐蔽的质量退化：低成本路径在宏观数据上表现尚可，但在你的评估套件从未采样的少数关键用户群体中却会失败。本文探讨了为什么路由器是一个控制系统而非分类器，以及实现闭环处理究竟需要什么。
insider
llm-routing
model-cascades
evaluation
+1