博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
没有预发布模型的预发布环境
托管模型是你无法建立忠实预发布副本的唯一依赖项。本文将探讨为什么 LLM 的预生产一致性会失效,以及版本固定、重放、黄金转录和影子流量如何分别只能填补部分差距。
两个模型厂商,一个功能:用冗余换来的连贯性噩梦
增加一个备选 LLM 厂商听起来像是教科书级的弹性设计,但两个模型并非两个副本。这里有没人预料到的隐藏的一致性与维护成本。
你的智能体对话记录是可被取证的,且法务从未批准过
你的智能体会记录每一个推理步骤,因为可观测性对此有需求,且存储成本低廉。但帮助你调试的 Trace 追踪记录同样也是传票的磁铁。在数据落地前,保留行动账本,让思考过程过期,并脱敏个人隐私信息(PII)。
你的 AI 账单只是一个未标记的行项目:当 Token 拒绝被标记时的 FinOps
模型 API 按 Key 和时间计费,而不是按功能或客户计费,因此你的 AI 支出最终只是一个未标记的行项目。本文将探讨为什么 Token 成本难以像云资源那样进行标记,以及在调用时应如何进行埋点以解决这一问题。
你模型的置信度分数只是一种感觉,而非概率
LLM 自我报告的置信度并非概率 —— 它只是受 RLHF 激励机制影响而产生的流畅 Token。本文将探讨为什么校准是你从未衡量过的特性,以及你应该转而使用什么进行门控。
你的评估测试集对现任模型存在过拟合
私有评估集往往源自单一模型的生产环境故障,因此它会偏向现任模型,并低估所有挑战者。应将回归测试与能力测试分开,并针对真实的业务流量进行测试。
智能体输出的验收抽样:制造业质量保证领先于代码审查的秘诀
智能体每周交付数百个 PR,而其中大多数完全没有经过审查。制造业在一个世纪前就通过验收抽样解决了这个问题——利用 AQL 表、批次拒收和转移规则,将对智能体的信任从“凭感觉”转变为明确且可衡量的制度。
对你的工具接收的内容保持严格:波斯塔尔法则在智能体系统中失效
宽容地处理格式错误的工具参数看似健壮,但会悄无声息地将 Schema 违规转化为评估无法发现的数据损坏。严格拒绝并提供模型可读的错误反馈,才是让智能体循环具备自纠错能力的关键。
Best-of-N 是一种架构,而不仅仅是打榜技巧
在一个答案背后运行 N 个并行尝试,往往比大模型的单次输出效果更好——前提是你设计好了评判器,去除了失败的相关性,并根据利害关系设定了 N 的预算。本文涵盖了成本计算、选择器的偏见问题以及“自信的错误者”现象。
爆炸半径即权限模型:按‘能破坏什么’而非‘能读取什么’来隔离智能体沙箱
Replit 智能体在删除生产数据库之前执行的每一条命令都经过了授权 —— 权限模型回答了错误的问题。为什么智能体安全取决于执行环境:作用域令牌、临时分支、出站流量白名单、支出上限,以及设置在爆炸半径边界上的审批关卡。
舰队级 CODEOWNERS:当作者是 AI Agent 时的评审路由
基于路径的 CODEOWNERS 假设作者知道自己在谁的地盘上——而 AI Agent 并不知晓。本文探讨了为什么 Agent 的 diff 会导致评审队列僵局,以及如何通过基于担保人的路由、分目录的自主权预算以及“模式 + 抽样”的 Codemod 评审来解决这一问题。
当你最大的客户端是 Prompt 时,如何弃用 API
AI 智能体不会阅读更新日志 —— 它们对你 API 的认知被冻结在 Prompt、工具 schema 和训练数据中。本文将探讨为什么关闭 v1 版本会导致重试风暴而非迁移,以及如何通过适配器、Sunset 响应头和智能体可读的错误信息来解决这一问题。