·tian
共享 LLM 基础设施中的“吵闹邻居”问题:AI 功能的租户模型
当某个功能的批处理作业耗尽了共享的 API 配额时,付费用户会看到 429 错误。本文将介绍共享 LLM 基础设施的检测信号与隔离模式。
insider
llm
infrastructure
ai-engineering
+2·tian
共享 LLM 基础设施中的跨租户数据泄露:无人测试的隔离失效
探讨在共享 LLM 产品中,提示词缓存、向量索引、微调模型权重和智能体内存存储是如何悄无声息地在租户之间泄露数据的 —— 哪些隔离原语能真正强制执行边界,以及在客户发现之前找出污染的审计方法。
insider
ai-security
llm-infrastructure
multi-tenancy
+1显示第 13–14 篇,共 14 篇
上一页2 / 2