跳转到主要内容

为什么 AI 工程培训项目永远落后于模型

阅读需 1 分钟Tian PanTian Pan

2023 年初,大量企业 AI 培训项目带着同一个卖点涌现:我们将教你的工程师提示工程。然而大多数项目完成第一批学员培训时,所教的具体技术已被模型自身自动化淘汰。到 2025 年,曾短暂标价 20 万美元年薪的"提示工程师"职位实际上已走向消亡。而那些培训项目依然在运转。

这就是 AI 课程陷阱。它不是努力或预算的问题。各组织在结构化 AI 培训、认证项目和以工具熟练度为核心的招聘标准上投入了大量资源。但工具的迭代速度快于任何课程所能追赶的速度,结果是一种永久性的结构性滞后:培训项目始终在教 18 个月前的 AI 工程。

12 个月的有效期

最典型的例子就是提示工程本身。从 2022 年中到 2023 年底,精心设计的提示技巧——思维链、少样本模板、角色注入、角色扮演脚手架——是真正的效能倍增器。掌握这些技术的工程师能交付出比不掌握者明显更优质的 AI 功能。培训项目理性地回应:将这些技术编纂成课程。

然后模型进步了。GPT-4 Turbo、Claude 3 和 Gemini 1.5 开始隐式理解意图,使显式的思维链指令变得多余。工具调用和函数调用替代了提示技巧来实现能力模拟。培训项目作为专项技能教授的内容,变成了模型自动完成的事情。这些技术并非一夜之间失效,但它们的半衰期以月计,而非以年计。

框架知识遵循同样的规律。2023 年初采用 LangChain 的团队围绕其抽象构建了技能:链、代理、检索器。在 12 个月内,许多生产团队开始将其弃用。某个工程团队记录了他们的迁移过程:那些在早期原型阶段加速开发的抽象,在生产中成了负担——它们掩盖了故障模式,使调试既需要理解自己的代码,又需要同时理解 LangChain 的内部机制。曾经深度掌握 LangChain 的工程师,把这些知识花在了组织已不再使用的框架上。

评估方法论也是另一个牺牲品。以基准测试驱动的评估——对照 MMLU、HumanEval 及类似静态数据集衡量模型——是 2023 年之前的标准方法。到 2025 年,生产团队已转向系统级、生产感知的评估:真实用户输入、纵向漂移追踪、领域专属测试预言机。那些在基准测试范式下受训的团队进入生产环境后,发现所学技术不足以应对实际面临的问题。

为什么单靠速度无法弥合差距

显而易见的回应是更快地更新课程。但差距的根源主要不是速度问题,而是结构问题。

企业培训项目的开发周期以季度为单位。课程需要设计、制作、审核、审批和排期。当内容到达学员手中时,距离研究阶段已过去 6 到 12 个月。对于稳定领域,这种滞后尚可接受。对于 AI 工具,这意味着培训已经在教领域已部分超越的内容。

招聘标准存在同样的问题,并因体制惰性而加剧。2024 年为"AI 工程师"职位撰写的基于技能的职位描述,可能会列出 LangChain 熟练度、特定提示技术以及对某个评估框架的熟悉度。到 2026 年,这些要求筛选出的是具备上一代工具经验的工程师。通过筛选的候选人不一定是能力最强的——而是在老旧但稳定的工具集上接受过最新培训的人。

政府和企业技能提升项目面临更陡峭的滞后曲线。2025 和 2026 年启动的主要劳动力 AI 计划,是基于 2024 年的技术假设设计的。等学徒完成项目时,他们所学的框架已经经历了多个主要版本迭代,而聘用他们的组织可能早已转向不同的工具。Gartner 援引的"到 2027 年实现 80% 劳动力提升"目标,无法通过课程在第一天就已过时的项目来实现。

什么样的第一性原理知识真正能存续

在这种环境中表现优秀的工程师,不是掌握最前沿工具的人。而是那些理解任何给定类别工具底层原理的人。

Transformer 架构是最清晰的例子。2017 年"Attention is All You Need"中引入的注意力机制,仍然是 2026 年所有主要语言模型的概念基础。理解自注意力如何捕捉 token 序列间关系、位置编码为何重要、不同注意力窗口设计之间的权衡是什么——掌握这些的工程师能对任何新模型架构进行推理,因为核心机制没有改变,即使实现规模已扩大了数个数量级。

检索原理具有同等持久性。从关键词搜索到密集向量检索,再到混合排序,再到智能检索,跨越数年,每个阶段都涉及重大实现变化。但底层问题始终如一——LLM 在没有基础外部知识的情况下会产生幻觉,因此需要找到并排序正确的文档。理解检索为何有效、什么使文档可检索、排序如何与生成质量交互的工程师,能适应任何当前的检索实现。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 9 分钟

提示工程的职业陷阱:哪些 AI 技能会复利增长,哪些会逐渐退化

大多数提示工程技能都有半衰期。随着模型的改进,少样本示例和思维链(CoT)模板的价值会逐渐侵蚀,而评估设计、行为规范和系统架构则会产生复利效应。本文将告诉你如何判断你的技能处于哪一边。

insider
ai-engineering
阅读需 11 分钟

429 错误背后的惊群效应:速率限制是一个分布式系统问题

不带抖动的指数退避会组织你的重试集群而不是将其消解 —— 随之而来的是同步的 429 浪潮、重试放大和亚稳态故障。本文将探讨为什么 LLM 速率限制需要抖动、重试预算,以及你原本没打算构建的客户端调度器。

insider
ai-engineering
阅读需 9 分钟

真正信守承诺的隐私模式:在 AI 功能中构建用户可控的数据边界

“大多数 AI 隐私模式都只是”留存剧场” —— 开关虽然在那,但数据照样流动。本文将介绍如何构建真正生效的用户可控数据边界,涵盖从临时推理到用户可验证的审计追踪等技术实现。”

insider
privacy
阅读需 9 分钟

思考预算:扩展推理模型何时真正具备经济意义

扩展推理模型可能将推理成本推高 5-30 倍,也可能在高难度任务上带来真实的质量飞跃。关键在于路由决策:哪些查询真正值得使用思考 token,如何设置预算上限,以及如何在账单到来前发现过度思考。

insider
llm
阅读需 10 分钟

Prompt 工程无法突破的数据质量天花板

当底层数据存在噪声、过时或重复问题时,Prompt 工程会触碰到一道硬性天花板。本文将介绍如何诊断数据失效与模型失效,以及哪些手段才能真正改变结果。

insider
ai-engineering