跳到主要内容

能力激发:让大语言模型用好它已知道的一切

· 阅读需 10 分钟
Tian Pan
Software Engineer

大多数提示工程的努力都集中在让指令更清晰上:更精准的动词、更好的格式、更明确的约束。这确实有效——在某种程度上。但生产级 AI 系统的瓶颈往往不是指令清晰度,而是模型明明拥有相关知识和能力,却根本没有将其激活。

这就是提示工程与能力激发的本质区别。提示工程优化的是你如何提问,能力激发优化的是模型在回答时从自身权重中调取了什么。这一区别至关重要,因为两者的失败方式截然不同:提示工程失败时,你得到的是格式混乱或答非所问的回复;激发失败时,你得到的是格式完美、措辞自信,却错过了模型明明具备的洞察力的回复。

如果你曾见过一个模型在多次失败后,仅凭略微调整的措辞就搞定了一道复杂的推理题,那你目睹的正是激发缺口在发挥作用。能力一直都在,只是你的提示没能触发它。

潜在知识问题

现代大语言模型经过海量语料训练,覆盖医学、法律、工程、数学等数十个领域。但训练产生的知识是联想式存储的,而非层级化组织的。模型没有一个"化学部门"可以走进去——它拥有的是数十亿条加权连接,化学知识与烹饪食谱和影评分布在同一套参数中。

这意味着知识的获取高度依赖上下文。同一个模型,直接提问时可能答不出研究生级别的化学题,但如果对话中已经建立了化学背景,它可能就能正确作答——不是因为它学到了新东西,而是因为前置 token 激活了其知识图景中的正确区域。

AI 安全实验室对能力激发的研究证实了这一规律。标准评估用预设提示在固定基准上衡量性能;而激发则主动搜寻最优提示策略、工具配置或脚手架方式来最大化性能。两种测量之间的差距往往惊人地大——这个差距代表着你的用户实际上没能获得的能力。

实际意义是:你的模型几乎可以肯定比你的提示所展现的更强大。如果根本问题是知识激活而非理解能力,再多的指令打磨也无法弥合这一差距。

为何更清晰的指令会触及天花板

提示工程遵循一条收益递减曲线,大多数团队都要走弯路才能发现这一点。第一轮改进——添加角色背景、规范输出格式、提供示例——带来显著提升。第二轮改进——处理边缘情况、增加约束、收紧格式规范——带来适度提升。第三轮往往毫无收益,甚至让事情变得更糟。

这是因为指令复杂度与遵从度在超过临界阈值后呈反比关系。研究表明,提示扰动可以让准确率下降高达 54%;思维链提示——最受推崇的提示工程技术之一——在某些任务类型上实际上会使性能下降多达 36%。模型开始过度思考,虚构不存在的约束,或在相互竞争的指令中迷失方向。

指令遵从的悬崖是真实存在的。你在系统提示中添加的每一条规则都会给模型施加认知压力。超过一定密度后,规则开始相互干扰。模型会为了满足规则 A 的字面要求而违背规则 B 的精神意图。如果你曾在"优化"提示后发现模型变得莫名其妙地死板或输出生硬,你就经历过这种情况。

天花板的存在,是因为指令工程在模型处理的表层运作——它调整输出分布,却无法深入模型知识内部,选择性地激活相关内容。这正是激发技术的用武之地。

五种真正有效的激发技术

激发不是单一的技巧,而是从不同角度攻克知识激活问题的一系列方法。以下五种在实证支持和生产系统实用性上均表现突出。

专家身份框架

不要告诉模型该做什么,而要告诉它它是谁。ExpertPrompting 研究表明,在回答之前生成详细的专家身份描述——不只是"你是专家",而是带有具体专业方向、从业年限和已知视角的丰富角色设定——比直接指令更能有效激活领域相关知识。

其机制直接明了:专家身份描述在上下文窗口中创建了一个密集的领域相关 token 簇。这些 token 将模型的注意力偏向其参数中存储该领域知识的子空间。泛泛的"回答这道化学题"只能微弱地激活化学知识;而"你是一位拥有 20 年逆合成分析经验的合成有机化学家,以复杂天然产物全合成研究著称"则能精准激活它。

多专家提示更进一步,通过模拟多种专家视角并加以综合,在真实性基准测试上达到了最先进的成果——比单一专家方法高出近 9%。

类比启动

当模型在某个问题的原生领域举步维艰时,换一个模型更擅长的领域来呈现类比问题。如果它无法直接推断分布式系统的故障模式,就把问题框架为供应链物流问题。如果它看不出代码中的安全漏洞,就把代码重新描述为一栋有门有锁的实体建筑。

这之所以有效,是因为类比推理迫使模型在两个领域之间建立结构映射,从而激活直接提问所错过的抽象推理模式。模型并未学到任何新东西——它只是通过不同的激活路径调取了推理能力。

关键约束:类比必须在结构上忠实,而非仅在表面上相似。糟糕的类比比直接提问更快产生自信却错误的答案。

顺序分解

复杂提示之所以失败,是因为它们同时要求处理多重约束、多重上下文和多重输出要求。分解将任务拆分为若干离散步骤,每一步聚焦于单一目标,上一步的输出成为下一步的输入。

这不只是"把任务分成几步"。结构化提示研究的洞见在于:指令遵从度随提示复杂度的增加而下降。一个单一焦点的提示能可靠地激活相关能力;一个同时兼顾五项关切的提示则会对每项能力都只产生微弱激活。分解确保每种能力都能获得完整的激活窗口。

实际操作:不要用一个提示要求"分析这个代码库的安全漏洞、性能问题和可维护性问题,然后排列优先级",而是分三轮顺序执行。每轮以完整深度激活不同的评估视角,而非三者都以部分深度运行。

上下文启动

上下文窗口开头的 token 对后续所有内容都有不成比例的影响。上下文启动正是利用这一点,在提问之前用预置信息将模型偏向正确的知识子空间。

例如,在要求模型审查数据库迁移之前,先花几个 token 明确数据库引擎、表的规模、并发写入负载和部署策略。这些上下文不只是为答案提供信息——它们会激活模型中关于迁移失败的知识,而如果你直接说"请审查这次迁移",这些知识是不会被触及的。

原则:上下文窗口中的每个 token 都会影响后续生成。靠前的 token 影响最大。要用它们来启动知识激活,而不仅仅是提供信息。

生成式自我审查

先生成一个答案,然后让模型从特定分析视角批判自己的输出,再进行修订。这之所以有效,是因为评估在认知上比生成更容易——模型在批判时激活的能力与创作时不同,能发现生成阶段遗漏的缺口和错误。

关键细节:审查提示必须明确要寻找什么。非结构化的"审查你的答案"只会产生流于表面的自我表扬。有针对性的"找出所有没有被所提供信息支撑的论断,并标记任何假设了证据中不存在的事实的推理步骤",才能激活真正的分析能力。

何时选择激发而非工程

不是每个提示问题都是激发问题。以下是一个决策框架:

使用提示工程,当:

  • 模型理解任务,但输出格式有误
  • 答案内容正确,只需调整结构
  • 需要添加护栏或约束
  • 模型给出了不错的答案,但偶尔跑题

使用能力激发,当:

  • 模型给出的答案自信却流于表面,尽管它拥有相关知识
  • 同一问题在不同措辞下的表现差异悬殊
  • 增加更多指令让输出变得更差而非更好
  • 模型在简单情况下表现良好,但在复杂情况下失败——那种感觉像是"偷懒"而非"困惑"

激发问题的典型特征:你可以一步步带着模型推导出正确答案,但它独自一人得不出来。知识存在,激活路径不在。

叠加效应

这些技术可以组合使用。一个精心设计的生产提示流水线,可能先用上下文启动构建知识图景,再用专家身份框架在该图景中精准聚焦,然后用顺序分解确保每种能力得到深度而非浅层激活,最后用生成式自我审查捕捉生成阶段的遗漏。

叠加效果不是相加的——而是相乘的。启动让专家框架更有效,因为专家身份落地于一个已经相关的知识空间。分解让自我审查更有效,因为每一步都产生聚焦的输出,更便于进行有意义的批评。

这就是为什么当前从模型中获益最多的团队,不是那些拥有最聪明单一提示的团队,而是那些构建了多阶段流水线、系统性地激发能力而非单纯请求输出的团队。模型没有改变,改变的是每项任务中有多少已知知识被真正激活。

诚实的局限

当前的激发方法无法保证所有能力都已被发现。每次评估都只是下界,而非上限。一个看似在某项任务上准确率顶格在 80% 的模型,可能在某种尚未尝试的激发策略下能达到 95%。

这把双刃剑两面都有锋。对产品团队而言,这意味着你当前的模型很可能还有未被挖掘的性能——如果能从现有模型中激发更多能力,你可能根本不需要升级到更大的模型。对安全团队而言,这意味着能力评估永远是低估,一个在已知激发策略下看似安全的模型,可能在新颖策略下暴露出危险能力。

对构建者的实际启示:在升级模型之前,先升级你的激发方式。AI 工程中最廉价的性能提升,是让你已经付费的模型用好它已经知道的一切。

References:Let's stay in touch and Follow me for more thoughts and updates