·tian
LLM 应用的语义缓存：基准测试没告诉你的真相
生产环境中的语义缓存命中率通常在 20–45% 之间，而非厂商宣称的 95%。本文将探讨阈值微调难题、从业者容易忽视的失效模式，以及何时应彻底放弃语义缓存。
insider
llm
caching
performance
+1·tian
Prompt Caching：将 LLM 成本降低 90% 的优化方案
一份通过 Prompt Caching 将 LLM API 成本降低 60–90% 的实用指南 —— 涵盖 Anthropic 和 OpenAI 的前缀缓存、静默降低命中率的并行执行陷阱，以及用于生产工作负载的多层缓存架构。
llm
cost-optimization
prompt-engineering
caching
显示第 13–14 篇，共 14 篇
上一页2 / 2