1 含有标签「queue-theory」

LLM 流水线中的背压：排队论在基于 Token 的服务中的应用

如何将利特尔法则、准入控制、隔板模式和令牌桶背压应用于 LLM 调用图 —— 以及为什么幼稚的重试逻辑会将供应商的瞬时波动演变成系统停机。