LLM 推理：关键理念与局限性
推理是推动 LLM 能力发展的关键
引言
- 对 AI 的期望：解决复杂的数学问题、发现科学理论、迈向 AGI。
- 基线期望：AI 应当能像人类一样从少量示例中学习。
关键概念
- 机器学习中缺少了什么？
- 推理：从最少的示例中按逻辑推导出答案的能力。
玩具问题：取末字母拼接
-
问题
：取出每个单词的最后一个字母并把它们拼接起来。
- 示例："Elon Musk" → "nk"。
-
传统机器学习：需要大量 带标签的数据。
-
LLM：通过推理，仅需一个示范就能达到 100% 的精度。
中间步骤的重要性
- 人类通过推理和中间步骤来解决问题。
- 示例：
- 输入："Elon Musk"
- 推理："Elon" 的最后一个字母 = "n"，"Musk" 的最后一个字母 = "k"。
- 输出："nk"。
推理方法的进展
- 思维链（Chain-of-Thought, CoT）提示
- 把问题拆解为合乎逻辑的步骤。
- 数学应用题的示例展示了显著提升的解题精度。
- 由易到难（Least-to-Most）提示
- 把问题分解为更容易的子问题，逐步泛化。
- 类比推理
- 借鉴相关问题的解法。
- 示例：通过回忆距离公式的逻辑来求一个正方形的面积。
- 零样本与少样本 CoT
- 在没有显式示例的情况下触发推理。
- 解码中的自一致性
- 通过采样多个回复来提高逐步推理的精度。
局限性
- 被无关上下文干扰
- 加入无关细节会显著降低性能。
- 解决方法：明确指示模型忽略干扰。
- 自我纠正的挑战
- LLM 在自我纠正错误时可能失败，有时甚至会让原本正确的答案变错。
- 有效的纠正离不开 oracle 反馈。
- 前提顺序很重要
- 重新排列问题的前提会让性能下降，强调了逻辑递进的重要性。
实际意义
- 中间推理步骤对解决串行问题至关重要。
- 基于单元测试的自调试等技术对未来的改进很有前景。
未来方向
- 定义对的问题对取得进展至关重要。
- 通过开发能自主处理这些问题的模型来解决推理上的局限性。
