统一神经和符号决策

LLMs 的关键挑战

• 在需要复杂规划的任务中存在困难（例如，旅行行程、会议安排）。
• 随着任务复杂性的增加，性能下降（例如，更多城市、人员或约束）。

三个提议的解决方案

1. 扩展法则
   • 增加数据、计算和模型规模。
   • 局限性：推理/规划任务的高成本和收益递减。
2. 混合系统
   • 将深度学习模型与符号求解器结合。符号推理是指使用明确的符号、规则和逻辑解决问题和做出决策的过程。这是一种基于明确定义的关系和表示进行推理的方法，通常遵循形式逻辑或数学原理。
   • 方法：
     • 端到端集成：统一的深度模型和符号系统。
     • 数据增强：神经模型为求解器提供结构化数据。
     • 工具使用：LLMs 作为外部求解器的接口。
   • 典型例子：
     • MILP 求解器：用于有约束的旅行规划。
     • Searchformer：训练 Transformers 模仿 A* 搜索。
     • DualFormer：动态切换快速（启发式）和慢速（深思熟虑）推理。
     • SurCo：结合组合优化和潜在空间表示。
3. 新兴符号结构
   • 探索神经网络中出现的符号推理。
   • 发现：
     • 神经网络在算术任务中表现出傅里叶样模式。
     • 梯度下降产生与代数结构一致的解决方案。
     • 在复杂任务中出现的环同态和符号效率。

研究意义

• 神经网络自然学习符号抽象，为改进推理提供潜力。
• 混合系统可能代表**适应性（神经）和精确性（符号）**之间的最佳平衡。
• 高级代数技术最终可能取代梯度下降。

总结

决策 AI 的未来在于利用神经适应性和符号严谨性。混合方法在解决需要感知和结构化推理的任务中最具前景。