跳到主要内容

2 篇博文 含有标签「change-management」

查看所有标签

组织的免疫系统:为什么公司会扼杀那些确实奏效的 AI 功能

· 阅读需 11 分钟
Tian Pan
Software Engineer

你的 AI 功能运行良好。它通过了你构建的每一项基准测试(benchmark)。它处理了团队花费数周进行压力测试的边缘案例。试点(pilot)用户非常喜欢它。你的模型没有产生幻觉。延迟低于 300ms。评估套件(eval suite)显示全部通过。

然而六个月过去了,它仍未投入生产。法务部门要求再进行三轮审查。一位高级副总裁担心“范围(scope)”问题。拥有相邻工作流所有权的团队表示未被征求意见。财务部门说投资回报率(ROI)模型需要重构。你被告知要“进行更广泛的内部沟通(socialize it more broadly)”。

这就是所谓的组织免疫系统在起作用——它杀死的 AI 项目比糟糕的模型要多得多。

生产级 AI 系统中的提示词版本控制与变更管理

· 阅读需 11 分钟
Tian Pan
Software Engineer

一个团队在客服提示词中增加了三个词,为了让它“更具对话感”。几小时内,结构化输出错误率激增,一条创收流水线停滞。工程师们花了将近一整天的时间调试基础设施和代码,才有人想到去检查提示词。没有版本历史。没有回滚机制。这三个词的修改是由一位产品经理直接在配置文件中内联完成的,他完全没理由认为这会有风险。

这是一个典型的生产环境提示词事故。类似的戏码在各种规模的公司中上演,其根源几乎总是一样的:提示词被视作临时配置,而不是软件。