·tian
你的负载测试在撒谎：生产环境中的 LLM 供应商容量争用
LLM API 是多租户共享基础设施 —— 你的负载测试在凌晨 2 点通过，但生产环境的延迟在周二上午 9 点却出现飙升。了解共享峰值需求的机制以及保护你 SLO 的架构模式（多供应商对冲、熔断器、预留容量）。
llm
production
reliability
infrastructure
+1·tian
非确定性服务的 API 契约：随机输出下的版本管理
传统 API 契约在封装 LLM 的服务中会失效。本文介绍如何对概率性系统进行版本管理、测试并维护向后兼容性。
insider
llm
api
engineering
+2·tian
生产环境中的 LLM API 韧性：速率限制、故障转移以及简单重试逻辑的隐藏成本
LLM 供应商的可用性通常在 99–99.5% 之间——比云基础设施差 6–14 倍。本文介绍了最小可行韧性技术栈：抖动、熔断器、双重速率限制，以及在生产环境中真正有效的多供应商故障转移方案。
llm
production
reliability
api