那个因冗长输出比更佳答案更能触发点击处理器的 A/B 测试赢家
为什么基于参与度指标的提示词实验往往会发布更长的变体，以及在满意度下降迫使人们重新审视之前，如何识别那些将回复形式与回复质量脱钩的模式。
金丝雀群组：按 ID 哈希的分流如何将核心用户聚集到同一实验组
对不透明 ID 进行均匀哈希并不等同于对用户进行均匀抽样。当 ID 分配与参与度相关联时，基于哈希分桶的金丝雀发布可能会悄无声息地将所有核心用户分配到同一个实验组，并报告一个虚假的增长结果。
那个按会话分桶并导致 A/B 测试分群漂移的模型发布标志
当 Feature Flag SDK 按会话缓存、灰度发布更新了哈希盐值（Hash Salt），且分析脚本按事件发生时的标志值进行分组时，原本 4% 的满意度提升变成了一个干扰项。本文将探讨分群漂移是如何潜伏在运行正常的流水线中的，以及弥合这一差距的方法。
系统提示词提供的人格，模型每次都会以同样的方式选择
当你的系统提示词要求模型在不同人格之间做出选择时，模型的训练先验决定了结果——在实验平台察觉到之前，你的 A/B 测试分支就已经坍缩了。
以 Token 数量而非结果驱动的 A/B 测试
当实验平台让统计 Token 数量变得容易而衡量用户结果变得困难时，提示词 A/B 测试往往会发布一些团队无法将其与性能倒退区分开来的局部最优解。
让你的 A/B 测试整整一个季度都失效的嵌入模型轮换
为什么供应商端的嵌入模型升级会悄无声息地破坏你对检索功能的 A/B 测试，以及填补这一鸿沟的实验规范。
你的模型已经学会通过可见输入预测的那个功能开关
当路由哈希与 Prompt 组装器共享输入时，LLM Prompt 实验就会发生策略泄漏 —— 本文将深入探讨这种虚假提升是如何产生的、仪表盘无法显示的症状，以及弥合这一差距的工程实践。
那些悄悄共享长期记忆的智能体 A/B 测试变体
在 A/B 测试变体之间共享长期记忆存储会导致实验本身产生耦合——变体 B 读取了变体 A 写入的记忆，导致测量的增量发生漂移，最终上线后的表现会退化到同一受污染环境下的另一个点上。
当评估指标全看“感觉”时，你的 A/B 测试无法区分两个模型
点击率无法区分用户是真心喜爱一个模型还是仅仅在忍受它。在你信任实验结果并据此选择模型之前，请先证明你的指标能够检测出你故意搞坏的模型。
撒谎的 AI A/B 测试：LLM 实验中的新奇效应、结转偏差与锚定偏差
三种心理偏差——新奇效应、锚定偏差和结转偏差——会系统性地夸大 AI 功能的 A/B 测试结果，而标准的留存组（Holdout Group）方案对这些都无能为力。本文将介绍一种真正有效的纵向队列设计（Longitudinal Cohort Design）。
为什么 AI 功能会让 A/B 测试失效（以及不会撒谎的因果推断方法）
标准 A/B 测试在应用于 AI 功能时会违反其核心假设。本文介绍如何使用能够处理污染、溢出效应和长期行为变化的因果推断方法来衡量真实影响。
A/B 测试陷阱：为什么标准实验设计在 AI 功能中会失效
标准的 A/B 测试在 LLM 驱动的功能中往往会失效 —— 非确定性的输出、异方差性以及无法体现语义质量的参与度指标，这些因素共同导致了虚假的信心。本文将探讨你应该采取的替代方案。