1 含有标签「gateway」

你的 LLM 网关缺少的长尾容错重试策略

将微服务默认的重试机制应用于 8 秒的 LLM 调用，会显著拉高 P99 延迟，在供应商故障期间白白消耗 Token，并掩盖一个用户可见的延迟悬崖，而网关仪表盘对此却毫无察觉。