跳转到主要内容

64 含有标签「product」

Posts tagged "product" on TianPan.co.

查看所有标签

·tian

试点炼狱:廉价的 90% 正是你的 AI POC 无法转正的原因

一个可运行的 AI 演示只是那看起来像 100% 但其实很廉价的 90%。那些能确保其在生产环境中安全运行的评估、护栏、可观测性、成本上限和权属划分,才是没人预估过的昂贵的 10% —— 这里有一份清单,帮你提前预估这些成本。

insider
ai-engineering
llm
mlops
+1
·tian

内部试用 (Dogfooding) 你的 Agent 并不等于 QA

内部用户会默默地修正 Agent 的错误、规避其弱点,并在 Slack 中分享绕过问题的方法 —— 这使得内部试用指标在真实客户流失前看起来异常完美。你应该转而监测修复事件、编辑距离和冷启动用户群组。

ai-agents
evals
observability
product
·tian

你的 Token 预测从未考虑过的重尾效应

基于试点的 Token 成本预测往往忽略了生产环境用户的重尾效应——账单通常由 P99 而非中位数决定。本文将探讨如何针对分布而非平均值进行定价。

insider
llm
unit-economics
pricing
+2
·tian

Token 预算是产品决策,而非配置值

设置上下文窗口分配(历史记录 vs 检索结果 vs 工具输出)的那行代码,是隐藏在 f-string 中的产品决策。本文将介绍如何将其显性化、衡量它,并为其指定负责人。

context-engineering
llm
rag
product
+1
·tian

那个设定了你跑不起的基准的 Demo

一个 Agent Demo 在前沿模型上运行,使用精心挑选的输入且没有负载——然后悄然变成了管理层预期的基准。本文将告诉你如何在 Demo 变成承诺之前,为其从演示到生产的差距进行估价。

ai-agents
llm
engineering-economics
product
·tian

后台智能体与通知预算:为什么主动 AI 在用户注意力面前会遭遇硬上限

主动型 AI 智能体每天面临每个用户 3 到 5 条通知的硬上限。那些不考虑注意力预算的团队,其发布的功能往往会在几周内出现启动指标与留存指标倒挂的情况。

insider
ai-agents
product
ux
+1
·tian

对话式 REST:当你的聊天 UI 需要分页、过滤和排序时

聊天是一种极佳的输入方式,但却是一种糟糕的输出方式。一旦你的智能体返回的结果超过三个,正确的做法是渲染 UI,而不是继续说下去。

ai-engineering
ux
agents
generative-ui
+1
·tian

撤回的代价:为什么撤回一项 AI 功能比上线它更难

一旦用户围绕某项 AI 功能构建了工作流,移除它的成本将超过上线它的成本。本文探讨了为什么紧急开关往往被闲置,以及如何在上线之初就设计可逆性。

ai-engineering
product
deprecation
release-engineering
·tian

以单次对话成本为产品契约:当定价驱动架构设计时

AI 功能的定价是架构设计的输入,而非财务后的补救。为了不让工程师在午夜修补单位经济效益的漏洞,PRD 中应该包含哪些内容。

ai-engineering
product
pricing
unit-economics
+1
·tian

对正确答案的点踩:当用户反馈训练出谄媚行为

点踩评分将“错误”与“不受欢迎”混为一谈。针对原始信号优化提示词训练出的是迎合而非准确性——而且这种数学偏差会随规模扩大而恶化。

ai-engineering
evaluation
rlhf
product
·tian

撒谎的 AI A/B 测试:LLM 实验中的新奇效应、结转偏差与锚定偏差

三种心理偏差——新奇效应、锚定偏差和结转偏差——会系统性地夸大 AI 功能的 A/B 测试结果,而标准的留存组(Holdout Group)方案对这些都无能为力。本文将介绍一种真正有效的纵向队列设计(Longitudinal Cohort Design)。

insider
ab-testing
llm
experimentation
+2
·tian

AI 副驾驶 vs. AI 飞行员:基于证据的产品决策框架

具体的已部署系统信号——任务完成率、错误恢复时间、用户覆盖频率、边缘案例暴露——决定了 AI 应该是建议性的还是自主性的,以及错误的默认选择如何侵蚀那些难以挽回的用户信任。

insider
ai
product
engineering
+2
显示第 1–12 篇,共 64 篇
1 / 6下一页