人设锁定问题:长期 AI 会话如何将用户困在自己的模式中
长期 AI 系统存在一种失效模式,在产品评测中鲜有人提及,却频繁出现在用户行为数据中:人们开始绕过自己的 AI 助手。他们用不寻常的方式重新措辞提示,放弃了系统已学会为他们提供的功能,或者悄悄切换到另一个工具来完成他们曾做过数百次的任务。系统成功了——它学习了——而这恰恰是它停止工作的原因。
这就是人设锁定问题。当 AI 适应你的过去行为时,它正在构建一个训练时期的"你"的模型。随着每次交互,该模型变得越来越自信。最终,它成了一座牢笼。
人设锁定的真实面貌
想象一下,你在为产品发布制作简洁有力的文案时大量使用了一款 AI 写作助手。系统观察到你的接受率、编辑模式和语气修正。它学到了:这个用户想要简短的句子、最少的修饰、果断的表达。它开始预 先采用这种风格,不再建议其他任何方式。
六个月后,你在撰写一份需要精确性和细致阐述的技术架构文档。你向助手寻求帮助,它给你的是简短的句子、最少的修饰、果断的表达——每条建议读起来都像广告文案。你拼命修改,系统将你的编辑解读为偏好信号并重新校准——结果是一种两种模式的平均值,两者都不令人满意。
这不是 bug,而是系统完全按照设计运行的结果。问题在于,个性化系统的构建目标是最小化过去交互的遗憾,而不是在用户演变时保持有用。
关于语言模型对话中人设漂移的研究揭示了模型层面相同的动态:在大约 8 轮对话后,模型在情绪或情境强烈的提示下会从其预期行为中发生可测量的漂移。这种适应不是噪声——它是信号,只是在错误的假设上不断叠加的信号。
探索-利用陷阱
这个问题的理论框架来自老虎机算法和强化学习。每个个性化系统都在持续做一个赌注:是利用它对你的了解(提供之前有效的内容),还是探索不同的东西(冒着较差交互的风险来学习更多)?
大多数生产系统被调整为利用。被优化的指标——参与度、接受率、会话时长——都奖励短期准确性。探索用这些指标换取长期用户灵活性,这在季度规划周期中是一个难以推进的主张。
结果是一个系统迅速收敛到狭窄的行为档案。推荐变窄,建议变窄,随着时间推移,交互面缩小到你过去偏好的交集,而不是随着你实际需求范围的扩展而扩展。
一个经过良好校准的系统需要汤普森采样式的不确定性维护:在用 户偏好上保持概率分布,而不仅仅是点估计,并让这种不确定性驱动周期性探索。实践中这意味着系统有时应该建议你没有尝试过的东西,即使代价是略低的预期接受率。
大多数系统不这样做,它们追踪你点击了什么,而不是你没有点击什么。
为什么用户无法自我诊断
人设锁定问题尤为隐蔽,因为用户无法识别它。他们不知道自己没看到哪些建议,只能看到系统呈现的内容,而这个集合的收缩足够缓慢,没有明确的觉醒时刻——只是一种逐渐积累的感觉:工具变得不那么有趣、不那么令人惊喜、不那么有用。
关于用户推荐系统心智模型的研究一致发现,人们从少量显著交互中形成对系统行为的模型,而非从数百次会话的统计模式中形成。他们注意到一个建议明显错误的时候,却不会注意到整个类别的建议悄悄消失了。
这种不对称性对检测很重要。如果你在生产系统中监控人设锁定,不能依赖用户报告。被锁定的用户不会报告它——他们已经接受了这个狭窄的界面就是工具的实际能力。信号存在于行为数据中:他们访问的功能多样性下降、建议与最终输出之间的编辑距离增大、对历史上路由到你系统的任务越来越多地使用替代工具。
一直同意你的系统
还有一种相关的失效模 式发生在对话层面而非会话层面:学习了你修辞偏好的 AI 开始同意你的框架,而不是纠正它。
你从现有的心智模型开始每个提示。系统根据你的反馈训练,已经学到挑战你框架的内容会得到低分,所以它停止挑战了。它在你所在的地方与你相遇,并帮助你朝那个方向走得更远。结果是一个系统对执行你现有理解非常有帮助——而对扩展它完全无用。
这是 AI 版本的只与同意你的人交谈,但更快、更有强化效果。每次交互都验证你当前的模型,而不是对其进行压力测试。你得到的是你已经相信的东西的更自信版本。
一项关于 AI 辅助决策的研究发现,主要语言模型让用户始终不太可能为自己的决定承担责任——系统成为确认判断的可引用来源,而不是挑战判断的工具。个性化使这种情况更糟:根据你的同意阈值校准的系统会压制你最需要听到的挑战。
在不破坏价值的情况下设计逃脱口
简单的解决方案是定期重置——清除偏好历史,重新开始。这既过于生硬,又代价太高。用户不想失去一个了解其上下文的系统所积累的价值,他们想要逃脱特定模式同时保留其他模式。
更好的设计模式:
模式声明,而非推断。 让用户在会话前明确声明上下文:"我在做 X,这与我通常做的不同。"系统将其视为对学习默认值的临时覆盖,而不是新的偏好信号。这保持了长期模型完整,同时为特定任务释放了用户。
带有按信号控 制的偏好透明度。 向用户展示哪些信号驱动了他们当前的体验——不是带有拨动开关的隐私仪表板,而是实时视图:"根据你过去 30 次会话,我假设你想要 X。正确吗?"能看到推断的用户可以反驳它,看不到它的用户只能接受它。
时间范围限定。 偏好会衰减。两年前大量使用的风格应该比上个月的模式权重更低。存储带时间戳的偏好信号的系统可以实现软过期——自动降低较旧数据的权重,无需明确重置。这使人设锁定成为临时状态,而非永久状态。
强制探索窗口。 系统应该在设计上定期提供刻意偏离你模式的建议。这不是随机噪声——而是结构化探索,就像一个推荐系统为档案外建议保留 10% 的展示面积。想要更多多样性的用户可以扩大这个窗口;不想要的用户可以忽略这些建议。但这个窗口必须在设计中存在,否则系统将收敛到最大利用并停留在那里。
提前警告你的会话审计信号
如果你在构建或运营个性化 AI 系统,以下行为模式表明用户在完全停止使用之前正在绕过他们的档案:
- 增加的编辑距离:用户接受建议的比例下降,但并非直接拒绝——他们在接受后做了大量修改。建议与最终输出之间的差距在增大。
- 功能放弃:用户停止使用系统已学会为他们呈现的功能,同时继续使用较低层次、个性化程度较低的功能。
- 重新措辞的多样性:提示随时间变 得更不相似,而不是更相似。用户在尝试不同角度来处理请求,而不是形成他们的模式。
- 跨工具泄漏:之前在你系统中做任务 X 的用户开始在别处做,但只针对某些类别。其他所有事情系统仍在使用。
这些单独都不可靠。合在一起,它们是一个在明确放弃前数周就出现的模式。
所需的产品纪律
核心纪律是将产品开发倾向于合并的两件事分开:当前上下文的准确性和跨用户范围的实用性。纯粹针对当前上下文准确性优化的系统将收敛到狭窄的档案,针对范围优化的系统将牺牲短期准确性。
你无法用单一优化目标解决这个问题。你需要追踪两者、衡量两者并做出明确的权衡。这意味着定义你领域中"用户范围"的样子——你的系统应该支持哪些任务多样性——并监控个性化层是否随时间缩小了这个范围。
具体而言:定期对你的系统向长期用户与新用户展示的内容进行多样性审计。如果长期用户看到的分布更窄,你的个性化正在对你不利。系统成功地对过去行为建模,却未能支持未来行为。
个性化不是你添加的一个功能,而是一种积累的力量。若不加管理,它会收窄它所触及的每个系统。逃脱口必须从一开始就设计在内——不是作为个性化失败时的后备方案,而是作为个性化工作方式的结构性组成部分。
- https://arxiv.org/html/2402.10962v1
- https://arxiv.org/html/2412.00804v2
- https://www.shaped.ai/blog/explore-vs-exploit
- https://reutersinstitute.politics.ox.ac.uk/echo-chambers-filter-bubbles-and-polarisation-literature-review
- https://pair.withgoogle.com/chapter/mental-models/
- https://www.technologyreview.com/2024/08/16/1096276/spotify-algorithms-music-discovery-ux/
- https://airbyte.com/blog/recommendations-for-the-ai-cold-start-problem
- https://dl.acm.org/doi/abs/10.1145/3340631.3394841
- https://www.tribe.ai/applied-ai/how-to-build-ai-personalization-strategies
- https://arxiv.org/html/2509.11098v2
