·tian
推理服务提供商拒绝发送的背压信号
在 200 和 429 之间存在一个盲区，每个 LLM 客户端都会步调一致地出现超载。缺失的负载压力标头是协议层面的缺失，而非客户端的 Bug。
llm-infrastructure
backpressure
rate-limiting
agent-fleets
+1·tian
速率限制层级崩溃：当你的智能体循环产生自我 DoS 时
单个用户的智能体扇出可能会耗尽同一配额下的所有其他用户资源。本文探讨了为什么扁平化的令牌桶在智能体工作负载下会崩溃，以及维持平台公正运行的四层层级结构。
ai-agents
rate-limiting
backpressure
observability
+1·tian
LLM 流水线中的背压：排队论在基于 Token 的服务中的应用
如何将利特尔法则、准入控制、隔板模式和令牌桶背压应用于 LLM 调用图 —— 以及为什么幼稚的重试逻辑会将供应商的瞬时波动演变成系统停机。
insider
llm
backpressure
queue-theory
+2·tian
Agent 流水线中的背压：当 AI 生成工作的速度快于执行速度
会产生子 Agent 和扇出工具调用的 Agent 流水线会创建无界工作队列，耗尽 token 预算并使生产系统崩溃。借鉴响应式系统中的背压模式——有界队列、层级化预算、熔断器和自适应并发——可以在账单到来之前阻止失控扩张。
ai-agents
distributed-systems
backpressure
multi-agent