长出胳膊和腿的缓存提示词前缀

机制是行政性的,不是技术性的。提示词文件头部一个小小的注释块列出每个贡献者的小节,带一行描述和一个 owner 的 handle。新添加追加一行;删除由原始请求者评审。文件变得自带文档,任何评审者都能回答"为什么这条在这里",而不必从六个月的 git history 里做考古。代价是每次改动多花几分钟。收益是没有人会加他们不需要的东西,因为他们必须写下为什么需要。

听起来很官僚,直到你拿它跟替代方案比——也就是大多数团队目前的状态,提示词是一个没人能详细辩护的单个字符串。你在 package 依赖、数据库迁移、API 表面、环境变量上接受的官僚——那些官僚正是阻止这些资源腐化的东西。提示词前缀一直是一个免费资源,因为没人给它定过价。当成本变得可见,官僚就变得划算了。

把缓存命中率作为合并前的 gate​

所有权的补充是可观测性。重要的指标是按请求级别测量的缓存命中率,按产生那个请求的前缀版本切分。如果一次部署发布了一个提示词改动,把缓存命中率从 92% 拉到 60%,团队应该在他们看 p50 延迟和错误率的同一个 dashboard 上看到它。Anthropic 在 usage metadata 里暴露 cache_read_input_tokens 和 cache_creation_input_tokens;OpenAI 暴露 prompt_tokens_details.cached_tokens。两者都可以作为派生指标使用:缓存命中率是 (缓存的 input tokens) / (总 input tokens),在感兴趣的时间窗口里取平均。

在它们变成账单之前抓住回归的纪律,是把这个指标作为合并前的 gate。修改提示词的 PR 在 staging 上跑一个小的合成负载,把预测的缓存命中率连同提示词的 diff 一起报告出来。如果预测低于某个阈值——根据你目前的状态挑一个,然后随时间往下卡——这个 PR 就需要二级评审,询问新加的动态内容能否移出前缀。这是后端部署里 bundle-size gates 在提示词上的对应物,它有效的理由也是一样的:没有显式仪表化,成本表面在 PR 时是不可见的,而添加那一行的工程师不是支付账单的工程师。

这个想法的弱化版本是把缓存命中率作为先行指标做每周评审。拥有账单的团队盯着趋势线。当它掉下来时,他们在下一个计费周期前调查。这比 gate 更便宜实现,但损失几天的复合成本;gate 在合并前抓住回归,评审在部署后抓住。两者中任何一个都比默认状态好,默认状态是在季度 P&L 评审中才发现。

让缓存挣回来的重构​

一旦团队有了 dashboard 和所有权台账,自然的下一步是结构性的:把前缀分成稳定系统块和按请求动态块。稳定块是可缓存的契约——角色定义、工具描述、响应格式、安全规则、锚定行为的长示例。这一块很少改变,占据大部分 token 数。动态块在它之后,包含所有每请求变化的——用户的等级、当前日期、活跃变体、功能标志清单、促销 banner。

这就是每一个提示词缓存文档页都推荐的结构,也是大多数生产提示词违背的结构。违背的原因是动态内容是一次加一行,在那个时刻对工程师有意义的任何位置加进去,结构完整性通过累积衰减。重构在技术上不难。对一个理解提示词的工程师来说,这是一个一天的项目。它没有发生的原因是没有人拥有它,而不做它的成本由一条没人盯着的预算线支付。

重构还会暴露一个有用的问题:当一位工程师被要求把一行从稳定块挪到动态块时,有一半的时候答案是这一行根本就不需要在提示词里。用户等级可以在相关时作为工具参数传入,而不是每次调用都注入。用户时区里的今天日期可以在"提醒我"意图触发时计算,而不是先声明出来以备所需。促销 banner 可以在用户提到价格时用工具调用取回,而不是在每个回合都告知模型。许多摧毁缓存的动态注入是防御性的——"以防万一"模型需要它们而加进去的——而重构把它们暴露为可删除的。

当它正常运转时是什么样子​

一个支付过这笔债并且不再继续支付的团队,会有三件东西到位。第一,提示词前缀有一个命名的 owner,对添加有否决权,有一个季度性的前缀字节预算。第二,缓存命中率和团队每天早上检查的同一个 dashboard 上的成本和延迟一起画出来。第三,稳定块和动态块之间的结构性分离能存活下来,因为它编码在文件的形状里——一个章节标题、一个注释、一个在边界之上检测到动态内容就失败的构建步骤。

架构上的领悟和这个领域一代人以前为 SQL 查询、为数据库索引、为 Dockerfile 层、为 npm 依赖搞清楚的那个一样。资源在小的时候便宜,在大的时候昂贵,需要一位守护者。成本在边际上不可见,在总量上压垮一切。提示词前缀的字节现在属于这一类。把它们当作免费的团队就是那个,晚一个计费周期才发现,它们从来都不是免费——只是没被测量。把它们当作预算的团队就是那个,留住了 90% 的成本折扣——那个缓存本该给他们的折扣——而不是每个季度都付一遍,运气好的话拿回一半。

缓存正在做它当初宣称的事。失去折扣的团队失去它,是因为他们让契约一次一行地侵蚀。守住前缀那条线,数学就成立。停止守住它,账单就复合,而所有人都在事后同意,是的,那一行大概不该加进去。