·tian
缓存击穿：这次冲击的是你的模型提供商，而不是数据库
当一个热门的 Prompt 前缀在整个集群中过期时，每个工作线程都会在同一瞬间成为缓存写入者 —— 曾经属于数据库的并发压力和账单，现在全都涌向了你的模型提供商。
llm
prompt-caching
reliability
cost-engineering
+1·tian
隐藏的 Token 税：在用户开口之前，你的上下文窗口为何已消失了 30-60%
系统提示词、工具 Schema、聊天历史和安全前导词在用户内容到达之前，正悄无声息地消耗掉你 LLM 上下文窗口的 30-60% —— 本文将介绍如何审计并回收这些空间。
llm-production
token-optimization
context-window
cost-engineering