1 含有标签「queuing-theory」

LLM 排队论：为什么你的负载均衡器按请求思考，而你的 GPU 按 Token 思考

将利特尔法则、优先级队列和准入控制应用于基于 Token 的 LLM 推理工作负载——探讨为什么请求级负载均衡会失效，工作保留调度器如何释放额外 30-70% 的 GPU 吞吐量，以及防止生产环境意外的容量规划数学。