上下文限制是一个 UX 问题：为什么静默截断会侵蚀用户信任

用户与 AI 助手进行了一个小时的长代码会话。他们建立了规范，分享了代码库上下文，并详细描述了一个多文件重构方案。接着，在第 40 条消息左右，AI 开始给出忽略其“已知”一切的建议。它推荐了一个用户二十分钟前已经拒绝的方案。当被追问时，它显得很困惑。

没有显示任何错误。没有出现任何警告。模型只是静默地丢弃了较早的消息，以为新消息腾出空间——而用户得出的结论是，该 AI 不可靠。

这不是模型失败。这是产品设计失败。

无形的墙​

上下文窗口有硬限制——即模型在单次调用中可以处理的 token 数量。不同之处在于界面如何传达（或未能传达）这些限制。

当今大多数产品都对此闭口不谈。你继续输入，模型继续生成。在后台，较早的消息被截断或压缩，模型开始根据你对话会话的部分片段进行工作。性能下降，信任流失。用户归咎于 AI。

一项 2025 年针对 18 个前沿模型的测试研究发现，一旦输入超过长度阈值，某些模型的准确率会从 95% 下降到 60%——这远在达到广告宣传的上下文限制之前。对于 Llama 3.1 405B，退化始于 32k token 左右，仅为其标称 128k 上限的一小部分。模型“技术上”的上下文限制与“实际上”质量开始崩塌的点之间的差距，是几乎无人承担的产品设计责任。

将其与其他工程领域的内存限制进行对比。超过工作内存的数据库查询不会静默返回错误结果——它会抛出错误或溢出到磁盘，并伴有可观察到的性能影响。编译器不会丢失代码行，它们会大声报错。LLM 界面几乎是唯一的，它让容量故障看起来像正常运行。

为什么用户的心理模型让情况变得更糟​

用户不以 token 为思考单位。他们以对话为单位。当你告诉某人“该 AI 具有 200,000 个 token 的上下文窗口”时，他们会将其理解为“AI 可以记住我们的整个对话”。产品暗示了记忆，而模型交付的是一个滑动窗口。

2026 年一项关于 AI 记忆的 CHI 研究发现，在混合长对话中，用户正确归因“哪些话是自己说的”与“哪些话是 AI 生成的”的能力会显著下降。用户不仅不记得 AI 知道什么，他们甚至不记得自己贡献了什么。心理模型在长度压力下崩溃。

这导致了一种特定的信任失败模式：当 AI 的行为不再与会话历史保持一致时，用户不会想到“达到了上下文限制”。他们会想“这个 AI 反复无常，不可信”。修复成本很高——他们不仅对本次会话失去了信心，而且对这类产品也失去了信心。

UX 的教训很明确：当技术限制对用户不可见时，其后果就会被归因于产品质量。静默截断绝不仅仅是一个后端实现细节。

上下文失效的四种方式​

2025 年的研究确定了当上下文填满时发生的四种不同的失败模式——其中任何一种都不会产生明显的错误：

中毒 (Poisoning)：会话早期的错误会随时间推移而复合。第 5 条消息中的误解会在第 6–30 条消息中得到加强和阐述，直到它变得举足轻重。当模型随后丢弃较早的消息时，这种复合错误仍会留在后续消息中。

分心 (Distraction)：在长会话中运行的智能体（Agent）往往会重复已经执行过的操作。拥有大量历史记录时，模型倾向于进行模式匹配过去的步骤，而不是综合新方法。长会话产生的解决方案创意度较低，而非更高。

困惑 (Confusion)：无关的上下文不断积累。模型开始从长会话的错误部分提取信息——使用三个主题之前的约束条件来回答当前问题。

冲突 (Clash)：内部矛盾在长上下文中积累。早期和晚期的消息包含相互抵触的指令，模型开始产生不一致的输出，而不会标记冲突。

从系统外部看，这些都不像错误。它们看起来像模型退化。

渐进式披露替代方案​

使用 LLM 构建产品时的本能是预先加载尽可能多的上下文。这是错误的。关于 AI 智能体渐进式披露的研究表明，智能体在初始化时加载更多上下文时的表现反而更差。