·tian
在网关层交换了两个用户上下文的 conversation_id 冲突
扁平的 conversation_id 命名空间加上各层漂移的 UUID 生成器，可能会在网关层交换两个用户的上下文。请像支付团队对待交易 ID 一样严谨地对待会话 ID。
multi-tenant
api-gateway
identifiers
agent-infra
+1·tian
多租户 LLM API 基础设施：规模化场景下的潜在故障点
在 LLM 供应商前端部署生产级 API 网关可以解决成本归因和速率限制争用问题。然而，分层隔离模型、基于 Token 的限制、故障转移模式以及 KV 缓存安全性带来的复杂性，往往在团队遭遇实际故障前被低估。
llm
api-gateway
infrastructure
multi-tenant