博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
产品工程师必读的训练后对齐：RLHF、DPO 和 RLAIF 对你究竟意味着什么
RLHF、DPO 和 RLAIF 不仅仅是研究领域的缩写 —— 它们决定了你今天记录的用户反馈会成为训练资产还是仅仅是噪音。以下是产品工程师需要了解的内容。
预训练的阴影：你的微调计划忽视的隐性约束
微调改变的是模型说话的方式，而非其根本知识或信念。以下是研究所揭示的实践者不断触碰的上限——以及如何绕过它。
AI 功能定价：工程团队总是跳过的单位经济学框架
可变推理成本打破了固定价格 SaaS 的基本假设。本文提供一套实用框架，涵盖按工作流成本建模、重度用户补贴测算，以及在用量扩大时维持利润率的用量上限设计。
Prompt Cache 盈亏平衡点：提供商端前缀缓存何时真正划算的精确数学计算
Prompt caching 宣称在缓存命中时可提供 90% 的折扣，但由于存在写入溢价，低命中率可能导致你支付的成本比完全不使用缓存还要高。本文将为你提供精确的数学计算和会话架构决策建议，帮助你判断是否能真正获得这一折扣。
Prompt 金丝雀：你的 AI 团队缺失的部署原语
代码金丝雀部署可以捕捉崩溃和延迟回归 —— 但它们无法察觉真正损害 LLM 系统的行为失效。这里有弥补这一差距的指标栈、部署清单模式以及自动回滚设计。
每日十万请求下的提示注入检测：为何简单防御失效，以及真正有效的方法
静态过滤器和 LLM 判断方法在高吞吐量下均会失效。这是在 200ms 延迟预算内真正能拦截提示注入的分层分类器架构。
提示词-模型耦合陷阱：为何你的提示词只会说一种模型的「方言」
精心调优的提示词会悄然积累对特定模型行为的依赖——JSON格式化怪癖、指令层级、拒绝阈值——这些依赖在迁移日才会爆发。本文介绍如何构建可移植性测试框架并编写低耦合提示词。
LLM 输出的基于属性的测试：发现你的评估集从未想过的 Bug
精心策划的评估集仅编码了你预想到的失败模式。基于属性的测试通过生成数千个对抗性输入变体，来发现测试套件在结构上无法触及的领域边界处的 Bug。
源头受污：RAG 语料库衰减与向量存储的数据治理
生产 RAG 系统会随着语料库积累过期数据块、相互矛盾的事实以及恶意注入内容而悄然退化。本文介绍如何将检索层作为基础设施来管理——通过 TTL 设计、摄取时冲突检测以及访问控制模式，保持系统的可信度。
掩盖检索器 Bug 的 RAG 评估反模式
大多数团队采用端到端的方式评估 RAG 系统，这使得生成器掩盖了检索环节的失败。本文将介绍如何构建一个专门针对检索器的评估框架，在错误累积之前发现其中的 Bug。
Schema 优先的 AI 开发：在编写提示词之前先定义输出契约
原始的 JSON 提示词在生产环境中往往有 15–20% 的失败率。Schema 优先的开发模式——即在编写提示词之前定义输出契约——能将这一比率降至接近于零。这种方法现在已成为每个自动化 LLM 流水线的正确默认选择。
Schema 问题：在生产环境中驯服 LLM 输出
LLM 的结构化输出看似已经解决，直到版本漂移、可选字段和下游解析器发生冲突。本文提供了一个用于对 LLM 输出契约进行版本控制和验证的实用框架，确保模型升级永远不会悄无声息地破坏你的数据管道。