跳转到主要内容

11 含有标签「product-metrics」

Posts tagged "product-metrics" on TianPan.co.

查看所有标签

·tian

那个因冗长输出比更佳答案更能触发点击处理器的 A/B 测试赢家

为什么基于参与度指标的提示词实验往往会发布更长的变体,以及在满意度下降迫使人们重新审视之前,如何识别那些将回复形式与回复质量脱钩的模式。

insider
ab-testing
llm-evaluation
product-metrics
+1
·tian

“重新生成”按钮作为一项产品决策:当“再生”功能让用户不再信任你

“重新生成”按钮看起来是一个唾手可得的 UX 优化,但它实际上改变了用户的行为,引导他们像对待老虎机一样对待你的模型。本文将探讨设计空间——包括分页、分支、引导式生成、重新生成预算——以及如何将“重新生成率”作为产品中最高带宽的质量信号进行监测。

ai-ux
llm-products
product-metrics
trust-calibration
+1
·tian

“无助但安全”的失败:为什么拒绝率是错误的安全性指标

拒绝率看起来像是一种安全控制手段,但将其视为唯一指标会导致交付出的模型虽然礼貌且符合审计要求,却会被用户抛弃。本文将探讨为什么过度拒绝在生产环境中难以察觉,套话和直接拒绝如何影响留存率,以及如何使用双轴评分标准而非单一的二元标准来评估拒绝行为。

insider
ai-safety
llm-evaluation
product-metrics
+1
·tian

AI 功能的沉默退出者:如何检测用户的无声不信任

大多数 AI 功能的失败在聚合指标中是不可见的。用户不会提交工单,不会禁用功能——他们只是悄悄地绕开它。本文介绍如何通过行为信号在留存曲线预警前检测用户的无声信任流失。

insider
ai-engineering
product-metrics
user-trust
+1
·tian

AI 功能指标陷阱:为什么 DAU 和留存率在随机化表面 (Stochastic Surfaces) 上会产生误导

DAU、转化率和留存率是为点击流设计的。而 AI 功能产生的是任务弧 (Task Arcs) —— 请求、响应、后续、解决 —— 你从确定性策略指南中引入的仪表盘会告诉你该功能表现优异,但实际上用户正在绕过它。

ai-engineering
product-metrics
observability
llm
·tian

真正衡量AI产品用户满意度的行为信号

点赞/点踩率只是噪声。本文介绍隐式行为信号的埋点方案——重试率、无编辑复制事件、下游操作完成情况——这些才是真正预测用户是否认可AI产品价值的指标。

ai-engineering
product-metrics
observability
llm
·tian

隐性反馈陷阱:为什么参与度指标在 AI 质量上具有误导性

点赞评价、点击率和满意度得分通常会系统性地偏向听起来自信的 AI 输出,而非准确的输出。本文将探讨为什么参与度指标会随着时间的推移让 AI 变得更糟,以及哪些行为信号才能真正追踪质量。

insider
ai-evaluation
rlhf
product-metrics
+1
·tian

AI 产品指标陷阱:当参与度看起来像价值却并非如此

团队如何在追踪会话数量和完成率的同时,错过了真正能预测价值的指标——以及为何 AI 功能上线后头 30 天的数据几乎总是具有误导性。

ai-engineering
product-metrics
llm
observability
·tian

没有人正确衡量的 AI 功能采用曲线

DAU 和会话时长掩盖了用户是真正采用 AI 功能还是仅仅在容忍它们。了解揭示真实采用情况的行为信号——编辑接受比、绕过率、覆盖时间——以及捕获这些信号的埋点架构。

insider
ai-adoption
product-metrics
ai-features
+1
·tian

AI 功能自相残杀:当你的智能功能悄悄杀死核心产品

自动化关键工作流步骤的 AI 快捷方式可能会悄然侵蚀参与循环、降低产品粘性,并将你的产品变成一个商品化的包装层——以下是检测和预防的方法。

insider
ai-product-strategy
product-metrics
feature-design
+1
·tian

没人用的 AI 产品指标:超越准确率,走向用户价值信号

工程团队执迷于准确率和延迟,而真正预测 AI 产品成败的指标——任务完成率、编辑率、会话深度——却无人度量。本文介绍如何为用户价值构建埋点体系。

ai-engineering
product-metrics
observability
developer-tools