1 含有标签「side-channels」

Prompt Cache 作为隐蔽信道：TTFT 探测泄露跨租户 Prompt

Prompt 缓存通过在租户间共享 KV 状态，可为缓存请求节省 80–90% 的开销——但也让首词延迟 (TTFT) 变成了一个侧信道，能以 92% 的准确率恢复其他客户的 Prompt。这是大多数团队尚未权衡过的成本与隔离之间的博弈。