用户将一份冗长且复杂的错误报告粘贴到你的 AI 助手。它看起来像是一个经典的空指针问题，其措辞和代码布局与数以千计的 Stack Overflow 帖子如出一辙。模型自信地做出了响应，引用了常用的修复方案，听起来非常权威。用户向它表示感谢。然而，错误依然存在。这份报告实际上关于的是竞态条件 (race condition)；空指针的表述只是用户描述症状时的偶然方式。
这是在生产环境 LLM 系统中捕捉难度最高的一类 Bug。模型没有拒绝回答，没有推诿。它没有幻觉出一个虚假的 API。它只是极其流畅地解决了错误的问题，而下游的所有环节——包括用户、你的评估流水线、你的护栏 (guardrails)——都看到了一个看似合理且切中要害的回答，然后继续下一步。我将此称为模式匹配失败 (pattern-matching failures)：模型锁定了查询的表面特征，并针对与实际提出的问题相邻的问题给出了一个自信的答案。
这类失败之所以如此危险，是因为其结构性原因。几乎所有其他常见的 LLM 失败都有可检测的指纹。幻觉出的 API 会在导入时报错。拒绝回答是你可以用正则表达式匹配的固定字符串。工具调用错误会返回非零退出代码。但模式匹配失败产生的输出在语法上是干净的，在主题上是正确的，但语义上却是错误的——这种错误只有仔细阅读原始请求的人类才能注意到。这里没有堆栈跟踪 (stack trace)，也没有变红的置信度分数。你的仪表盘依然显示为绿色。
表面特征过拟合的本质
这种机制并非通常意义上的幻觉。它更接近于推理过程中的正则式过拟合。在预训练期间，LLM 学习了句法模板——句子的形状、实体的顺序、几个触发关键字的存在——与通常随之而来的答案类型之间巨大的统计关联。在推理时，如果一个新的查询与这些模板之一强烈匹配，模型的下一个 token 分布就会向该模板的规范答案塌陷，即使底层的问题已经发生了偏离。
麻省理工学院 (MIT) 的研究人员在 2025 年底明确了这一点。他们展示了 LLM 会识别出“句法模板”——即与特定领域共同出现的重复词性模式——然后将模板作为捷径，而不是阅读内容。在一个例子中，模型学会了将“副词-动词-专有名词-动词”模式与国家/位置问题联系起来，并对一个语法相同但纯属乱码的句子（如 "Quickly sit Paris clouded?"）回答“法国”。模型并没有被废话单词所困扰；它根本就没有在阅读它们。模板已经产生了答案。
另一项平行研究将此称为句法盲点 (syntactic blind spot)：模型将熟悉的推理策略错误地应用到了语义上很简单但表达方式不熟悉的问题上。这种失败并不是推理能力的缺失；而是表面形式与内部表示之间的脆性耦合。当形式匹配时，无论问题是否仍然需要该解决方案，解决方案模板都会触发。
同样的动态也出现在思维链 (chain-of-thought, CoT) 中。亚利桑那州立大学 (ASU) 研究人员在 2025 年的一项研究分析了分布偏移下的 CoT，并得出结论：看起来像是一步步推理的过程，在许多情况下，实际上是对训练轨迹的模式匹配——这是一种脆弱的幻象，当测试查询接近训练分布时能够维持，而当它们发生偏移时则会急剧退化。甚至推理步骤本身也只是表面产物，而不是模型参与了实际任务的证据。
为什么这些 Bug 能绕过所有安全网
首先看用户。人类并不擅长察觉流畅的错误。当一个答案在语法上连贯、主题相关且自信满满时，人们默认会信任它——特别是当他们已经预料到模型给出的特定答案时。这就是为什么像点赞率这样的产品指标在衡量此类失败模式时会夸大质量：用户会给符合他们预期的答案投票，而他们的预期又受到模型正在进行模式匹配的相同表面特征的影响。
再看评估 (evals)。大多数生产环境的评估套件分为两类：参考答案评分（输出是否匹配预期字符串或通过正则？）和 LLM 即评委 (LLM-as-a-judge) 评分（另一个 LLM 是否认为输出良好？）。两者在模式匹配失败面前都会失效。如果规范答案碰巧对查询匹配的模板是正确的，参考评分就会将错误问题的答案标记为正确。LLM 即评委的情况更糟——评委模型本身也在利用与生成模型相同的句法模板，因此它会将“流畅且对题”评为“流畅且对题”。在相同分布上训练的两个模型会犯下具有相关性的表面特征错误。
基准测试的性能隐藏了问题，而不是揭示了问题。2025 年 2 月的一篇论文显示，LLM 在公开基准测试中的表现远好于相同问题的改写版本，因为基准测试的措辞渗入到了训练数据中，模型学会了匹配规范形式而不是解决规范任务。模型卡片上报告的准确率数值，在某种程度上是对模型记忆基准测试表面特征能力的衡量，而不是对泛化能力的衡量。
护栏 (Guardrails) 也无济于事。护栏旨在捕捉看起来错误的输出——提示词注入 (prompt-injection) 负载、毒性内容、PII、拒绝字符串。模式匹配失败产生的输出看起来并不错误。输出中没有任何畸形的内容。它只是在回答相邻的问题。护栏分类器没有任何触发点。
余下内容仅对会员开放。
会员可读完整内容 —— 每一个公开发布的观点背后，那些框架、决策与推理的全貌。
- 完整文章，包含未公开存档的部分
- 可落地的工作框架，附带权衡与决策依据
- 新文章抢先看，先于公开发布
随时取消 · 一次订阅，畅读全部