过拟合的组织:当你的 AI 团队模型专业知识成为负担时
· 阅读需 11 分钟
你最优秀的 AI 工程师能凭记忆背诵 Claude 的 XML 格式偏好。他们知道 Claude Opus 拒绝泛化隐式指令,知道少样本示例(few-shot examples)实际上会损害 o1 系列模型的性能,还知道在某些地区,Azure OpenAI 相比直接 API 会增加额外的 8 到 12 秒延迟。这种专业知识花了数月时间积累。它也代表了当今 AI 工程中最被低估的风险之一。
当供应商弃用某个模型或悄然改变行为时,这些知识并不会随之迁移。它会消失。那些围绕单一模型系列构建系统以及组织能力的团队,往往会以惨痛的方式发现这一点。
