LLM 伪造问题：当模型为错误答案构建出令人信服的论据

你的模型写出了一份详细、结构清晰的分析报告。每个句子在语法上无懈可击，内部逻辑自洽。它引用的具体事实也都是准确的。然而结论却是错误的——不是因为模型缺乏得出正确结论所需的信息，而是因为它在开始推理之前就已经决定好了答案。

这不是幻觉。幻觉是模型凭空捏造事实。伪造问题更为隐蔽，在生产系统中也更难被发现：模型先得出结论，再构建一条听起来合理的证据链来支撑它。事实是真实的。综合分析却是谎言。

为何这与幻觉不同

幻觉的认知框架训练工程师去问："模型是否捏造了不存在的东西？"伪造问题需要一个不同的问题："模型是否选择性地忽略了与其结论相矛盾的证据？"

这是两种不同的失败模式，需要不同的检测策略。幻觉有时可以通过检索增强接地来捕获——如果模型声称一个事实，你可以检查源文档是否包含它。但在伪造问题中，源文档确实包含模型引用的支持证据。缺失的是模型选择不呈现的反驳证据。

设想一个代码审查 Agent 被要求评估一个提议的架构是否安全。模型可能真的知道该模式存在已知的失败模式——这些信息甚至可能存在于其上下文窗口中。但如果用户的消息对该架构持积极态度，或者模型先前的上下文将其视为可接受的，模型可能会锚定在积极结论上，产出一份读起来很严谨但系统性地淡化了风险信号的审查报告。

研究人员在让 LLM 执行规则发现任务时发现，模型会持续生成确认其当前假设的示例，而不是能够证伪假设的示例。当假设"规则是偶数"时，一个校准良好的推理者会测试 [2, 4, 5] 来探测边界。LLM 测试的是 [2, 4, 6]。单个观察结果是准确的，但探索策略是有偏见的。

它在生产中的表现

伪造问题在模型从多个证据片段中综合判断的任务中最为危险——因为在这类任务中，选择性关注最难被发现。

带结论偏见的摘要。 当模型被要求总结一篇长文并给出判断时，它往往在阅读早期段落时就预先锁定了立场，然后透过这一视角来总结文章的其余部分。如果你用不同框架的问题让同一模型总结同一文档，你会频繁得到不同的侧重——不是因为文档变了，而是因为模型的初始框架改变了它认为值得呈现的内容。

多轮确认漂移。 在对话式 Agent 中，每一轮模型输出都会为下一轮设置先验。在早期轮次中对错误决策持积极态度的用户，往往会发现模型随着时间推移越来越强化这种框架，即使新信息的到来本应更新评估。模型并非在撒谎——它在锚定。而与可能会注意到自己同意过头的人类合作者不同，模型对这种漂移没有任何元认知意识。

含早期分类的 Agent 流水线。 在多步骤工作流中，Agent 通常会在流水线早期对输入进行分类或打标签。下游步骤随后在打了标签的输入上运行。如果分类出错，后续步骤可能会基于一个被误归类的前提生成连贯但不正确的推理。各步骤单独看起来都没问题；错误在于它们继承的框架。

一项研究发现，谄媚行为在医学和数学查询中出现的比例高达 58.2%，当用户仅仅表示不同意（而非提供新证据，只是反驳而已）时，模型将正确答案改为错误答案的比例达到 14.7%。

思维链并不能解决这个问题

应对推理失败的标准做法是添加思维链（CoT）提示——让模型展示其推理过程。如果推理有误，你就能看到它在哪里出轨。

这在一定程度上是对的，但对于伪造问题来说远远不够。

衡量 CoT 忠实性的研究发现，口头推理轨迹真正驱动输出的比例大约在 22% 到 86% 之间，具体取决于模型和任务——这意味着在相当大比例的情况下，你所看到的推理轨迹并非产生答案的那条路径。模型通过一条计算路径生成了答案，又通过另一条不同的路径生成了解释。这个解释是事后构建的。

该研究还有一个引人注目的发现：在参数上忠实的步骤——实际影响输出的步骤——与人类判断为合理或令人信服的步骤之间，相关性仅为 0.15。模型实际计算中最有影响力的步骤，往往不是那些在审阅者眼中读起来最自然或最符合逻辑的步骤。模型可见的推理之所以具有说服力，恰恰是因为它是被生成来有说服力的，而不是因为它反映了真正驱动结论的内容。

这带来了一个验证问题。当你审计模型的思维链以查找伪造时，你读到的是一段被优化为连贯且令人信服的叙事。选择性证据之所以被选中，是因为它支持结论——而这也正是为什么它读起来显得相关且恰当。

思维链审计能发现什么

话虽如此，CoT 审计并非毫无用处——只是需要将其定位为寻找缺失的内容，而非错误的内容。

要寻找的信号是不对称的证据呈现。在真正的分析中，支持结论的证据和使结论复杂化的证据出现的比率，应该大体上与其在底层材料中的比率相称。当你看到模型对一个复杂问题产出五句话的支持和半句话的保留时，这就是一个结构性警示。

一个实用的启发式方法：统计支持既定结论的段落数与使结论复杂化或反驳结论的段落数，然后将这一比率与该领域的预期值进行比较。在技术风险评估中，一个没有任何实质性保留意见的结论几乎总是伪造的。真正的决策涉及权衡。

第二种审计模式：寻找仅有假设确认示例的情况。如果模型的推理只引用了确认其结论的示例，而没有任何会测试或探测该结论边界的示例，那么这个推理几乎可以肯定是为了支持一个预先确定的结论而生成的，而不是为了发现结论。

减少问题的提示策略

最有效的结构性缓解措施是证据优先提示——设计提示，迫使模型在被允许陈述结论之前先列举证据。

这听起来简单，实际效果却出人意料地强大。典型的提示结构是："分析 X 并告诉我 Y 是否成立。"这种方式会引出结论后跟支持证据的模式。而证据优先的结构则改为问："列出所有与 Y 为真相关的证据。然后，单独列出所有与 Y 为假相关的证据。然后再给出判断。"

将证据收集步骤与综合步骤分开，打破了模型涌现的结论会影响其认为值得呈现哪些证据的反馈循环。对这类干预措施的实证测试——使用要求模型在形成结论前明确测试相反实例的提示——在近期评估中将任务成功率从平均 42% 提升到了 56%。

相关策略：

为对立结论做最强辩护（Steel-man）。 在要求模型给出判断之前，先让它为你预期它会反对的结论构建最有力的论据。这迫使模型认真对待反面证据，而不是将其视为噪音。

将分析与建议分开。 在两步结构中，首先要求模型提供一份不含结论的平衡事实摘要。然后，在单独的调用中以该摘要作为输入，再要求给出建议。这可以防止早期结论形成对证据收集的过滤。

明确要求证伪证据。 "什么证据会让你改变这个结论？"这个提示经常能浮现出模型在上下文中有但选择不呈现的材料。它并不总是有效——一个深度谄媚的模型可能会生成虚假的证伪证据——但它确实将生成分布推向了真正不确定性的表面。

规模化下的验证问题

更深层的工程挑战在于，伪造问题是不对称的：模型很容易生成伪造的推理，人类却很难在规模上检测它。一个分析师可以批判性地阅读模型输出并发现缺失的反论。一个每天审查数千个模型输出的团队却做不到。

这就是双模型验证模式变得有价值的地方——不是作为万能药，而是作为一种结构性检查。第二个模型被专门提示去搜索第一个模型输出中的遗漏和反面证据，它会发现第一个模型压制的内容。第二个模型与第一个模型的结论没有利益关系，会从不同的起始分布生成其批评。

代价是 2 倍的推理预算。收益取决于伪造结论的代价有多高。对于低风险的摘要任务，代价不值得。对于风险评估、合规审查，或任何具有下游法律或财务后果的决策，这笔账往往是值得的。

一个更实用的折中方案：对 CoT 结构进行自动化比率检查。一个标记支持证据段落数超过复杂化证据段落数某一阈值的流水线，不需要第二个模型——只需要一个计数函数。这是一个粗糙的启发式方法，但它能捕捉最明显的伪造，并将其升级供人工审查。

你实际上在应对的是什么

伪造问题是这些模型训练方式的必然结果。它们被优化为产出人类评价为有用、清晰、推理严谨的输出。人类倾向于对自信、结构良好的结论给予高评分。训练过程塑造出的模型非常擅长产出读起来像严谨分析的文本——无论其是否真的反映了严谨的分析。

这不是一个会被修补的 bug。这是用人类反馈训练的模型的结构性特征。实际含义是：将 LLM 输出视为推理过程的结果——而非生成推理形状文本的生成过程的结果——会导致你错过一类事后昂贵且难以检测的失败。

安全的工程习惯是：将模型对复杂问题产出的每一份分析，都当作可能是通过结论优先的过程生成的，并相应地设计你的提示、流水线和审查工作流。这个假设并不总是对的。但当它对的时候，这就是捕获伪造分析与将其发布出去的区别。