Page 38
12 articles稀疏信号问题：当无法进行 A/B 测试时如何衡量 AI 功能质量
B2B AI 功能鲜少拥有足够的日活用户来支撑 A/B 测试。本文介绍如何在频率统计无法规模化时，利用贝叶斯方法、代理信号和结构化专家知识获取来衡量质量。
Agent 的写操作侧：在行动层设计可逆性
AI Agent 的每一次写操作都是一个潜在的事故。如何在 Agent 删除无法找回的数据之前，为行动层设计可逆性。
撒谎的 AI A/B 测试：LLM 实验中的新奇效应、结转偏差与锚定偏差
三种心理偏差——新奇效应、锚定偏差和结转偏差——会系统性地夸大 AI 功能的 A/B 测试结果，而标准的留存组（Holdout Group）方案对这些都无能为力。本文将介绍一种真正有效的纵向队列设计（Longitudinal Cohort Design）。
能真正收敛的 AI 澄清对话：面向单轮解决的设计方案
多轮澄清循环会让用户感到沮丧，并降低 LLM 的性能。本文介绍了一个设计框架，旨在通过信息增益优先级、置信度阈值门控和架构约束，让 AI 系统在单轮对话中解决歧义。
AI 代码审查倒置：当作者是机器时应关注什么
当 AI 智能体编写了你大部分的提交时，逐行代码的正确性审查会忽略那些关键的漏洞。这里有一套真正适用于机器创作代码的审查规范。
AI 副驾驶 vs. AI 飞行员：基于证据的产品决策框架
具体的已部署系统信号——任务完成率、错误恢复时间、用户覆盖频率、边缘案例暴露——决定了 AI 应该是建议性的还是自主性的，以及错误的默认选择如何侵蚀那些难以挽回的用户信任。
为什么 AI 质量监控会将模型漂移、数据漂移和提示词漂移混为一谈 —— 以及针对每种情况的对策
当生产环境中的 AI 质量下降时，根源通常是三个截然不同的问题之一 —— 但传统的监控手段往往将它们混为一谈，导致在错误的修复方向上浪费数周时间。
AI 效率悖论：当你的核心功能扼杀了营收
旨在提升用户效率的 AI 功能可能会压缩人均席位营收 —— 这是一个结构性的定价问题，往往在续约周期之后才会被察觉。在发布功能之前，你应该这样思考这一问题。
故事点在与 LLM 的第一次接触中就会失效
为什么基于速率的 Sprint 规划假设在 AI 功能面前会崩溃——以及如何通过基于里程碑、评估驱动的方法让 LLM 工程团队保持可预测性。
AI 功能依赖图：当多个服务共用同一个模型时的韧性工程
当 15 个产品功能共享同一个嵌入模型和 LLM 端点时，一旦供应商发生故障，就会演变成一场没有堆栈跟踪的分布式系统崩溃。本文将探讨如何映射 AI 功能依赖关系、在每一层应用熔断器，并设计降级链，使功能在故障时能够干净地退出，而不是导致输出错误。
AI 功能 PMF 信号：为什么你的指标在欺骗你
NPS、点赞评分和激活率等传统信号对 AI 功能而言系统性地具有误导性。以下是真正的产品市场契合度的实际表现——以及如何衡量它。
为什么回滚 AI 功能比回滚代码更难
技术层面的代码回滚可以修复系统，但无法修复用户。本文将探讨为什么 AI 行为的改变具有代码变更所不具备的“粘性”，以及如何在不破坏信任的前提下，让你重新获取设计空间的模式。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
