跳转到主要内容

模型已经在直接与你的客户对话了

阅读需 2 分钟Tian PanTian Pan

在某处,此时此刻,一个 AI 助手正在向潜在客户解释你的产品。它引用的价格是你 18 个月前修改过的,推荐的集成是你上个季度停止支持的,并建议一个返回 410 Gone 的 API 端点。你永远不会看到这段对话。没有分析事件被触发。没有会话录像。潜在客户要么相信了错误答案并提交了一份困惑的支持工单,要么相信了错误答案,转而悄悄购买了模型随口提到的竞争对手的产品。

这不是一个假设的未来问题。AI 推荐已经占据了可观的流量 —— 对于某些技术和电子商务网站,这一比例高达 5–8% —— 而这些推荐背后的答案,是模型在任何时候吸收的关于你的任何信息生成的。你的营销团队花了十年时间学习如何监控品牌搜索、评论网站和社交媒体提及。几乎没有人正在监控增长最快的表面:当有人询问关于你的信息时,模型是怎么说的。

令人不安的框架是:模型是一个你从未雇用、从未培训且无法解雇的销售代表和支持代理。它在每个时区工作,即时回答,并且以十足的信心说话。你唯一拥有的杠杆就是它阅读的内容。

没人配置的分销渠道

这种规模悄然而至。ChatGPT 的网页流量在 2024 年 9 月至 2026 年 3 月期间增长了 84%,Gemini 增长了大约九倍,引流组合迅速碎片化 —— ChatGPT 在可衡量的 B2B AI 推荐流量中的占比从 89% 下降到约 63%,Claude、Gemini 和 Perplexity 瓜分了其余部分。在 2026 年 5 月,ChatGPT 开始直接在回答中显示可点击的品牌链接,对于许多品牌来说,来自 AI 的首页推荐几乎在一夜之间成为了其 AI 流量的大部分。

与 Google 相比,流量数字看起来仍然很小 —— 对于大多数网站,AI 推荐约占总流量的 0.1% 到 2.8%。但有两个特性使其变得异常重要。首先,这些流量的转化率异常之高,因为从 AI 答案而来的用户已经被“推销”过了:模型在用户点击之前就已经总结了你的功能,将你与替代方案进行了对比,并给出了建议。其次,更重要的是,推荐是一个巨大的隐形主体中可见的尾部。对于每一个点击进入的用户,还有更多人只是接受了模型的总结,根本没有访问网站。答案就是交互。

这第二个特性才是你应该担心的。当模型错误地描述你的定价时,没有跳出率可以观察,没有会话可以重放。错误分布在数百万次私密对话中,浮出水面的唯一症状都在下游,且难以归因:支持工单引用了你没有的功能,潜在客户拿你从未公布过的价格进行谈判,开发者针对你多年前弃用的端点提交 Bug。

错误答案非常具体,有些甚至很危险

人们很容易将其归类为通用的“幻觉”(hallucination)忧虑。但现实更加具体。失败模式呈现出特定的模式,其中一些具有安全后果。

最常见的类别是将过时信息当作事实呈现。模型是在快照上训练的。你当前的定价页面、重新命名的产品层级、新的速率限制 —— 在重新训练过程或检索步骤获取之前,基础权重中都不存在这些。模型不会说“截至我上次更新”;它会将 2024 年的价格陈述为当前价格。

第二个类别是看似合理的伪造。USENIX Security 2025 发表的研究测试了 16 个模型在 576,000 个代码示例中的表现,发现幻觉产生的包名遵循可预测的模式:约 38% 是将两个真实事物混淆在一起,13% 是拼写变体,一半是纯粹的伪造。创造 express-mongoose 的相同生成习惯也会在你的 API 上创造出一个看起来完全符合你命名规范的端点。开发者信任它,因为它在风格上是正确的。

第三个类别则开始变得充满敌意。攻击者注意到模型会持续产生幻觉,而一致性是可以利用的。Slopsquatting —— 注册模型倾向于发明的包名,然后加载凭据窃取程序 —— 是一种活跃的攻击模式。安全研究人员在域名上也记录了同样的技术:模型为真实品牌生成虚假但看似合理的 Web 门户和 API 主机名,而攻击者注册了这些域名。你的品牌产生的幻觉表面积现在是你攻击面的一部分,而你并没有划定那个边界。

在这一切之下,法律底线也正在形成。当 Air Canada 自己的聊天机器人发明了一项丧假退款政策时,不列颠哥伦比亚省的一个法庭拒绝了航空公司关于机器人是独立实体的辩解,并判定公司对其言论负责。这一先例涵盖了你的第一方机器人。第三方助手则更加模糊 —— 你不对 ChatGPT 关于你的言论负法律责任 —— 但商业损害并不在乎责任归属。一笔丢掉的交易无论如何都是丢了,而且对于第三方模型,你甚至没有修复机器人的选项。你只能修复它阅读的内容。

将模型回答视为受监控的表面

运营层面的做法是,将“模型如何评价我们”视作与品牌搜索排名或状态页可用率(uptime)完全一样的存在:一个拥有负责人、基准线和警报机制的监控面。

方法论上的陷阱是将单一的回答视为真相。模型的回答是非确定性的——同一个提示词在不同的会话、表述方式和日期下会产生不同的响应。此外,针对 AI 引用的研究发现,模型引用的来源中有 40–60% 每月都会发生变化。ChatGPT 弄错你产品价格的一张截图只是个案。你真正需要的是分布数据。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 10 分钟

发现的能力:当用户上线了你团队从未规划的功能

每一个足够强大的模型都会暴露出你团队从未规划过的行为。用户发现了它们,并在其基础上构建了工作流,然后将下一次模型升级视为一种回归。这里有一种产品准则,能将这些“发现的能力”转化为由你真正掌控的决策。

insider
ai
阅读需 10 分钟

AI 事故响应手册:为什么你的值班 Runbook 对 LLM 不管用

传统值班 Runbook 在 AI 系统中会失效,因为故障是非确定性的、质量下降没有错误码,根本原因排查需要一套完全不同的框架。本文介绍真正有效的做法。

insider
ai
阅读需 11 分钟

供应商将你的模型标识符重定向到特定租户的微调模型,而其他人使用的却是基础模型

如果将 LLM 模型标识符视为权重的名称而非路由决策的标签,那么供应商可能会在评估套件仍保持“绿色”通过状态时,静默地将你的租户从微调模型切换回基础模型,导致客户最先察觉到问题。

insider
llm
阅读需 10 分钟

系统提示词提供的人格,模型每次都会以同样的方式选择

当你的系统提示词要求模型在不同人格之间做出选择时,模型的训练先验决定了结果——在实验平台察觉到之前,你的 A/B 测试分支就已经坍缩了。

insider
llm
阅读需 9 分钟

那些由于模型选择了不同的 Token 而无法复现的 Bug

重现一个 LLM bug 时看到它通过了,并不意味着 bug 消失了 —— 而是意味着你抽取到了不同的样本。当你的工具假设一切都是确定性的,该如何调试一个采样器。

insider
llm