·tian
团队间的 Token 预算之战:当你的 AI 平台团队变成“财政部”
有限的供应商配额加上三个面临上线期限的产品团队,就构成了一个预算分配系统。负责运行你 LLM 网关的团队往往被要求进行配额分配——通常是在没有政策支持、没有发起人、甚至没有遥测数据来支撑决策的情况下。
insider
ai-platform
finops
llm-gateway
+1·tian
AI 影子 IT:当产品团队构建自己的 LLM 代理时
影子 LLM 代理之所以会绕过成本归因、审计日志和数据处理协议 (DPA),是因为平台网关在面对产品交付期限时败下阵来。解决办法是建立一条“铺好的路” (Paved Road),在首 token 延迟 (TTFT)、功能对等和开发人员体验方面全面超越非官方渠道。
insider
ai-platform
shadow-it
llm-gateway
+2·tian
内部 LLM 网关是新一代 Service Mesh
当团队达到 50 名工程师规模时,每个团队都会拙劣地重造同一个 LLM 网关。本文探讨为什么这种模式不断出现,哪些功能应该集中化、哪些应该留在边缘,以及如何解决内部的博弈冲突。
insider
llm-gateway
platform-engineering
ai-infrastructure
+2