跳到主要内容

4 篇博文 含有标签「product-strategy」

查看所有标签

LLM 模型路由是伪装成成本优化的市场细分

· 阅读需 11 分钟
Tian Pan
Software Engineer

成本仪表盘本身就很有说服力。60% 的流量是“简单”的,快速评估显示较小模型在全局准确率指标上仅落后几个百分点,路由层在同一周内通过特性开关(feature flag)上线。成本曲线开始下行。财务部皆大欢喜。团队继续推进后续工作。

没有人注意到的是,周二下午走廉价路径、周三上午走昂贵路径的客户,现在实际上在使用两种不同的产品。这两个模型的失败方式不同。格式化方式不同。拒绝的内容不同。它们以不同的默认逻辑处理歧义、追问和部分输入。从客户的角度来看,助手一夜之间失忆了,而且没人能告诉他们原因——因为在公司内部,这次变更被归档为一次 FinOps 的胜利,而不是一次产品发布。

AI 能力棘轮:一个聪明功能如何拖垮整个产品

· 阅读需 11 分钟
Tian Pan
Software Engineer

你的 AI 搜索刚刚上线。它速度快、支持对话,能处理过去基于关键词的搜索从未能胜任的复杂查询。功能评审一片好评,发布文章广泛传播。然而两周后,工单开始涌入——不是关于搜索的,而是关于客服组件、帮助文档和通知中心的。没有人动过这些地方。但用户突然愤怒了。

欢迎来到 AI 能力棘轮的世界。当你上线一个可以令人信服地展示智能的功能,就已经永久性地重新校准了用户对整个产品的可接受标准。棘轮咔哒一声向上拨动,永不回头。

这一模式是 AI 产品开发中讨论最少的失败模式之一。团队们庆祝各自的功能发布,却没有意识到他们正在将预期债务分摊给每一个什么都没有发布的团队。

按量计费的 AI 定价死亡螺旋:为什么按 Token 计费会惩罚你最好的功能

· 阅读需 9 分钟
Tian Pan
Software Engineer

Token 成本在两年内下降了 280 倍。企业 AI 账单却上涨了 320%。如果这听起来像个悖论,那是因为你还没有仔细研究按 Token 计费如何与那些真正让 AI 产品有价值的功能相互作用。

最有用的 AI 工作流——深度研究、多步推理、迭代优化、智能体工具调用——恰恰是消耗最多 Token 的。在纯按用量计费模式下,你最好的功能就是你最大的利润杀手。这不是暂时的规模化问题,而是 AI 创造价值的方式与计费方式之间的结构性错配。

AI 功能下线决策:当指标显示正常时,何时该果断关停

· 阅读需 12 分钟
Tian Pan
Software Engineer

你的 AI 功能拥有 12,000 名月活跃用户。参与度图表呈上升趋势。演示每季度依然能让利益相关者印象深刻。而你的用户正悄悄绕过它。

这是产品团队会逃避数月——有时甚至数年——的下线决策,因为每个表面指标都显示该功能运行良好。仪表盘显示了采用率。但它没显示的是,支持工程师在将每个 AI 生成的摘要转发给客户之前,都在手动纠正其中的三分之一;或者高级用户已经发现,点击三次“重新生成”就能产生可以接受的输出,并默默接受了这种工作流负担。