一个在内部基准测试中得分 94%、在演示中令利益相关者印象深刻、通过所有离线评估的模型,进入生产后仍然可能跌落至 7% 的真实客户数据有效准确率。这不是假设——这是多个企业 AI 部署中有据可查的结果,也是一种更广泛模式的症状:从"试点成功"到"生产价值"之间的鸿沟,正是大多数企业 AI 悄然消亡的地方。
在各行各业,大约 85–88% 的企业 AI 试点项目从未到达生产。每启动 33 个 PoC,只有四个能够上线。尽管模型能力大幅提升,这一比例三年来几乎没有改变。失败的根源几乎从不在于模型是否足够好——几乎总是在于成功演示与真实用户真正依赖该系统完成实际工作之间所发生的事情。
最后一公里是组织问题,而非技术问题
在物流领域,"最后一公里"是配送最昂贵、最难预测的环节——从区域中转站到个人门口的最后一段路。企业 AI 具有同样的结构。研究和实验阶段是容易的那段路:受控数据、积极的团队、清晰的成功标准、极小的集成面。困难的那段路从你试图将该系统接入组织的真实基础设施、流程和人员时才真正开始。
这里的失败点几乎从不是"模型不够准确",而是:
数据治理审查阻止了对试点阶段所用生产数据集的访问
IT 安全队列没有 SLA,且积压了 60 多个未处理请求
SSO 集成需要单独的采购流程,因为 AI 系统需要作为身份主体运行
合规审查不知道如何对系统归类,默认选择阻止,直到有框架可依
变更管理流程中,受影响的业务单元在试点阶段从未被纳入,如今持怀疑态度
每个问题都有解法。但它们都不会出现在基准测试排行榜上。
基准测试陷阱
研究到生产的准确率崩溃是有充分记录的。基准测试在针对比较优化的条件下评估模型:静态、结构良好的数据集,清晰的成功标准,单任务评估。而生产环境是动态且对抗性的:输入分布不断变化,来自用户行为的边缘案例无人预料,与拥有未记录限速和认证细节的遗留系统的集成问题。
一个在精心整理的评估集上达到 0.94 F1 的模型,一旦面对完整的生产输入分布,在真实客户数据上的表现会定期跌至 0.07。这种差距不是随机噪声——而是结构性的。试点期间,数据是预先清洗、过滤过的,代表"顺畅路径"。在生产中,数据是不完整、不一致的,由当天上游系统碰巧输出的内容决定。
五类差距导致了大多数规模化失败:
与从未为 AI 作为客户端而设计的系统的集成复杂性
当模型遇到试点分布以外的输入时,批量输出质量不稳定
缺乏监控工具 ——没有办法检测模型何时开始退化
系统上线后组织所有权不明确
处理生产长尾案例的特定领域训练数据不足
在这一阶段存活下来的组织,都是从第一天起就对生产进行检测的——而不是事后补救。
治理审批链
即使技术上健壮的 AI 系统,也会在组织流程中陷入停滞。一个接触生产数据的新 AI 系统,在中型企业中的典型审批链包括:
数据治理审查(验证系统接触哪些数据、如何存储、谁能访问输出)
IT 安全审查(渗透测试、密钥管理、API 面审查)
身份和访问管理集成(通常受制于 IAM 团队独立的积压队列)
法律/合规签字(尤其是任何面向客户的输出)
针对受影响团队的变更管理和培训
在健康的组织中,这些并行进行,耗时 4–6 周。在大多数组织中,它们顺序进行,耗时 4–6 个月。那个十月看起来准备好上线的试点项目,错过了年度预算周期,一月被降低优先级。到三月,原来的团队已被重新分配。项目在没有人正式终止它的情况下就死掉了。
从成功组织中得到的洞察是:合规不是瓶颈——运营模式才是 。合规审查耗时这么长,是因为它们在架构决策已经确定之后才被附加进来。拥有成熟 AI 交付流程的组织,将数据治理和安全要求整合到设计阶段,而不是部署阶段。在事后审计中需要八周完成的同一审查,当团队在开发过程中已经回答了 80% 的问题时,只需两周。
推动系统落地的组织模式 三种结构性模式将真正部署 AI 的组织与只是演示 AI 的组织区分开来。
具有障碍清除权限的执行赞助人映射。 最常见的失败模式是一个资源充足的技术团队,却没有组织权威去解除上述审批链的阻塞。有效的执行赞助人不仅提供预算——他们在团队升级之前就主动清除跨职能障碍。这需要一位了解哪些审批队列正在阻碍进展、在相关职能部门拥有关系、并将解除 AI 团队阻塞视为自己工作一部分而非帮忙的高级赞助人。没有这个,每个跨职能依赖都会变成 6 周的延误。
作为生产桥梁的影子部署。 影子部署——将生产流量复制到新模型版本而不将其响应返回给用户——是在提交切换之前针对真实数据测试行为的最简洁方式。它揭示训练-服务偏差、离线评估中从未出现的意外延迟分布和故障模式。它还满足了治理审查的很大一部分,因为你可以在任何人面临错误输出风险之前展示真实的生产行为。跳过影子部署直接进行金丝雀发布的团队,承担了可避免的风险,并推迟了全面部署所需的组织信心。
渐进式范围扩展而非大爆炸式上线。 在项目启动后 60 天内达到生产的组织,其长期扩展率比规划全面 AI 改造的团队高 4 倍。机制很简单:具有可衡量结果的窄范围上线更快,在审批链中建立可信度,并在问题规模仍可修复时暴露集成问题。一个在生产中处理一个狭窄工作流程 90 天的概念验证,比六个月朝向尚未上线的全面 AI 平台的工作更有价值。
运营模式差距 所有这些模式背后都存在一种结构性不匹配。大多数企业是为了通过季度规划周期管理的顺序审批链来发布功能而构建的。AI 系统需要在数周的时间尺度上进行测试、观察、更新,偶尔回滚。审批基础设施假设稳定性;AI 系统需要持续管理。
正在缩小这一差距的组织,正在构建混合结构:一个中央 AI 平台团队负责治理框架、共享工具和部署基础设施,以及嵌入各业务单元的从业者负责与特定工作流程和系统的集成。中央团队处理审批链中的可重复部分(安全模板、数据合同标准、监控基线);嵌入式团队处理特定领域的集成和业务变更管理。两者缺一不可。
2024 年至 2025 年间,放弃大多数 AI 计划的企业比例从 17% 跃升至 42%。坚持下来的企业不是拥有更好模型的那些,而是将部署流程视为一流工程问题而非建模工作事后补充的那些。
60 天强制函数 这项研究的实际含义令人不舒服:了解你的 AI 系统能否在生产中存活的最好方法,是以尽可能窄的范围尽快将其推向生产。而不是在隔离中构建完美系统,然后谈判组织障碍。
这意味着:
从具有可衡量生产信号的最小范围开始
在第一周(而非第八周)将 IT、安全和治理利益相关者纳入架构审查
将影子部署作为初始架构的一部分进行规划,而非事后改造
在障碍出现之前,就向执行赞助人说明其障碍清除角色
在试点开始之前定义"生产"意味着什么——理想情况下是具体的集成点、具体的用户群体和具体的指标
模型很少是问题所在。最后一公里才是。
会员专享
余下内容仅对会员开放。 会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。
— 完整文章,包含未公开存档的部分 — 可落地的工作框架,附带权衡与决策依据 — 新文章抢先看,先于公开发布 登录以继续阅读→ 随时取消 · 一次订阅,畅读全部