博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
Prompt 迭代中的“局部最大值”陷阱:如何判断你调错了地方
提示词调优了六周,评估分数依然在 4 分的区间内波动?你正处于局部最大值。本文将教你如何诊断你究竟撞到了哪块天花板——是提示词、检索、模型、规范还是数据——并选择能打破僵局的关键杠杆。
人格漂移:当你的智能体忘记自己的身份时
长对话会悄悄侵蚀系统提示词。本文探讨了为什么智能体人格会在 8–12 轮对话后发生漂移,如何衡量其半衰期,以及哪些强化模式能够保持稳定性。
主权崩塌:记录你的 Prompt 究竟去了哪里
应用日志显示请求发送到了 eu-west-1,但提供商在故障转移期间将其路由到了美国和新加坡。构建单次请求的主权路径,将审计转化为可查询的资产。
RAG 流水线中被你忽略的查询重写层
大多数检索失败源于查询形态的问题,而非嵌入模型本身。本文将深入探讨 HyDE、查询分解、多查询并行分发以及排名融合等技术,并教你如何在盲目更换编码器之前,诊断出你的 RAG 流水线真正需要的优化方案。
不存在的 AI 关闭开关:当用户参与共创归档内容时,如何下线功能
下线一个 AI 功能是一场迁移,而非简单的开关。这是一份实战指南,教你如何处理共创产物的过渡、分离作者与读者,以及在功能上线之初就制定退出标准。
你的 Span 名称是未记录的 API:Agent 团队之间的遥测契约
Span 名称和属性键是未记录的 API,其使用者涵盖了成本仪表板、评估流水线和 SLO 告警。请将遥测数据视为带版本的 Schema,否则你将不断因那些无声失败的破坏性变更而接到告警电话。
用户侧概念漂移:当你的提示词依然奏效,但用户已经变了
固化的黄金数据集依然显示为绿色,但生产环境的满意度却在悄然崩塌 —— 因为改变的是用户,而非模型。本文探讨检测模式以及评估集的“保质期”管理规范。
Agent 的策略即代码 (Policy-as-Code):OPA、Rego 以及你的工具循环中缺少的决策点
随着工具目录的增长,系统提示词和 YAML 配置清单将不再适用。在每个工具调用前设置一个专用的策略引擎——如使用 Rego 的 OPA 或 AWS Cedar——可以为 Agent 提供提示词工程无法提供的、可审计的策略决策点 (Policy Decision Point)。
Agent 的链路追踪采样:每日千万级 Span 中哪些值得保留
为什么默认的均匀采样在 Agent 工作负载中会失效,以及决定你的链路账单和故障平均修复时间 (MTTR) 的四个关键决策 —— 开始、结束、分层与保留。
采纳率是一个虚荣指标:你的 Copilot ROI 隐藏在敲击键盘后的 90 秒里
Copilot 采纳率衡量的是闭环中无摩擦的那一半。ROI 存在于随后的验证税中 —— 以下是真正揭示真相的指标。
你在无意中为 Prompt 构建了一个功能开关系统 —— 但却缺少治理
Prompt 配置仓库在运行时表现得像功能开关服务,但缺乏曝光追踪、审计日志、回滚遥测和针对单个用户的灰度控制。本文将探讨这一治理缺口以及如何填补它。
你的准确率提升了,但你的校准崩溃了
一个提升了 3 个百分点准确率的提示词重构,可能会悄无声息地破坏用户信任的对冲信号。使用 ECE、可靠性图表和拒绝率来衡量校准,而不仅仅是准确率。