博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
为了节省 Token 而被你剥离的思维链，其实隐藏着一项合规证据要求
为了降低推理成本而剥离推理 Token 看起来是一项简洁的优化，直到审计员要求你提供一个你已不再生成的合规理由。推理踪迹是具有双重用途的产物 —— 它们既是工程成本项，也是受监管的证据 —— 而负责提示词的团队往往并不负责审计工作。
让每个团队在一夜之间重写 Prompt 的内部结算模型
将 Token 成本转嫁回产品团队表面上是一次财务变更，但它会在一个 Sprint 内推动全公司的 Prompt 重写，并悄然降低那些成本仪表盘无法察觉到的输出质量。
CPU 调节器决定了你的 Agent 基准测试结果：那个被忽视的 CI 宿主机因素
一次 22% 的 Agent 延迟回归，最终发现竟是 Runner 镜像中的 cpufreq 调节器变更所致 —— 以及为什么 CI 基准测试数值测量的是宿主机，而非你的代码。
翻倍且没有事后复盘：那份编码智能体带来的 CI 账单
编码智能体不会在工作就绪时才推送 —— 它通过推送来发现工作是否就绪。CI 成本不再随提交次数增加，而是随计划步骤缩放，财务部门去年建立的预测模型已不再适用。
那个‘总结’掉用户原始提问的压缩策略
自动总结保留了对话脉络，但悄然改变了下游工具所依赖的字面表述。本文将探讨该 Bug 是如何出现的，以及如何针对它进行架构设计。
询问哪个模型产生了哪个输出的合规审计
终端节点别名并不是一个制品。当审计人员询问是哪个检查点产生了某项决策时，只有针对每项决策的检查点固定才能提供具有辩护力的答案。
抹除后续问题所需上下文的对话记忆修剪启发法
基于近因和长度的修剪会剔除后续轮次默默依赖的约束，而用户会将言之凿凿的错误回答视为能力退化。修剪是检索的对偶，那些为了 Token 数量而调整修剪策略的团队，正在悄然降低回答质量。
会话摘要抹掉了用户授予你的同意标志
压缩保留了智能体的回答，却遗忘了用户的选择。应将对话记忆视为语义和结构化两个流，否则你交付的将是隐私违规。
绑定到你不再符合条件的定价层级的成本预测
协商好的单价并非固定不变 —— 它是供应商针对你的账户运行的状态机的输出。当季节性波动跌破交易量下限时，折扣就会失效，你的预测也会在悄无声息中出错。
那个定价模型假设提示词由人类编写的数据标注商
当 LLM 生成的提示词取代手写提示词时，你在 2023 年签署的按任务计费的标注单价就成了一种无形的利润转移，直到续约周期迫使双方进行一场价格博弈。
那个追溯性地毒害了你微调模型的训练集许可
撤销的数据集许可证会在一夜之间将已部署的微调模型变成受监管的违规产物。你在训练前做出的数据溯源、去学习以及架构选择，决定了模型最终的可修复程度。
第 1 天授予的权限，到第 90 天也没人收回
智能体身份没有季度审计，没有团队调动，也没有离职事件。第 1 天授予的 IAM 权限变成了第 90 天的遗留产物，而组织架构图则是修复这一问题的真正障碍。