跳到主要内容

39 篇博文 含有标签「engineering-leadership」

查看所有标签

真正关键的 LLM 合同条款:企业级 AI 采购者的谈判清单

· 阅读需 11 分钟
Tian Pan
Software Engineer

大多数企业级 LLM 合同的谈判逻辑都是倒置的。法务部门会花三周时间研究“责任限制”条款——这一条款几乎永远不会被触发——而决定你的产品明年能否存活的条款,却在格式条款中被草草通过:供应商有权弃用你所依赖的模型,而通知义务仅定义为“尽商业上的合理努力通知你”。

问问那些在模型退役日期截止前仍有生产流量的人吧。迁移不是一次法律事件,而是一场工程“消防演习”——重新运行评估套件,重新调整那些表现已经悄然发生变化的提示词 (Prompts),还要向客户解释为什么助手的语气一夜之间变了。任何赔偿条款都无法涵盖这种损失。但是,如果在前期谈妥“弃用通知”条款,就能将这场消防演习转化为一个有计划的项目。

这是一份针对 AI 买家、真正能转移风险的条款清单,大致按它们对你造成负面影响的频率排序。同样重要的是,它还评估了哪些杠杆是供应商真正会愿意让步的,而哪些条款只会让你白白浪费谈判筹码。

不存在的单一质量指标

· 阅读需 13 分钟
Tian Pan
Software Engineer

在你公司的某个地方,有一张幻灯片上写着一个数字。“AI 质量:87”。上个季度这个数字是 85,所以幻灯片是绿色的。与此同时,你的值班频道里塞满了截图,显示助手正在自信地为你的最大企业客户捏造退款政策。这两件事同时发生,而撒谎的是那张幻灯片。

这张幻灯片背后的管理层需求完全合情合理:给我一个可以追踪的分数,让我知道这玩意儿是在变好还是变坏。这在收入和可用性上行得通,但在 AI 功能上行不通。因为 AI 功能的质量不是一个标量 —— 它是在输入、用户和时间维度上的分布。将这种分布平均成一个数字并不能起到总结作用,反而精准地破坏了决策者所需的信息。

这篇文章讨论的是这两个事实之间的差距:为什么你的评估套件(eval suite)的平均值隐藏了那些真正伤害你的回归(regressions),你应该汇报什么,以及如何向董事会报告的受众展示一个本质上存在波动的指标,且不会在指标下降的第一周就毁掉你的信誉。

康威定律正在影响你的智能体集群

· 阅读需 11 分钟
Tian Pan
Software Engineer

打开你多智能体系统的架构图。然后再打开你的组织架构图。如果你眯起眼睛看,它们其实是同一张图。“研究智能体”对应着负责搜索的团队。“账单智能体”的硬边界恰恰就在财务部门停止与产品部门沟通的地方。那个将工作分发给五位专家的编排器,看起来极其像是一个带着五名直属下属的工程经理。你并非有意如此设计。是康威定律(Conway's Law)为你做了决定。

Melvin Conway 在 1967 年的观察是:任何系统设计都会反映出设计该系统的组织的沟通结构。六十年来,这始终是一个关于微服务和单体架构的故事。但智能体集群是我见过的对该定律最字面意义上的展示:智能体本身 就是 沟通结构。智能体边界是一个进程将消息传递给另一个进程并等待的地方。当你为了匹配团队而不是为了解决问题而划定这些边界时,你不仅继承了组织架构的形态,还继承了它的功能障碍,并以机器速度运行它。

赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?

· 阅读需 10 分钟
Tian Pan
Software Engineer

你的智能体刚刚向错误的账户发放了 40,000 美元的退款,重新路由了一份触发加急运费的货运订单,或者推送了一个导致客户生产环境宕机六小时的配置更改。操作已经完成。它是不可逆的,或者代价大到接近不可逆。现在唯一重要的问题是那个在你上线产品前没人问过的问题:谁的预算来买单?

大多数团队都是通过惨痛的教训才发现答案的。在三天后的会议室里,供应商的客户经理在免提电话里向他们回读赔偿限额条款。限额是年度订阅费。而损失是这个金额的 40 倍。对话很快就结束了。

那些被静音的 LLM 报警:当每一次值班看起来都和上一个一模一样

· 阅读需 11 分钟
Tian Pan
Software Engineer

一次真实的回归在生产环境中持续了两天。告警(Page)已经触发了。它触发得完全正确,阈值准确,严重程度也恰当。三周前,值班轮值(On-call rotation)为该告警族添加了一条静默规则,因为该系列中的每一条告警到目前为止都以同样的注释结案:“无须操作,调查中”。复盘(Post-mortem)无法诚实地将这种静默行为称为错误。这是对一系列值班人员没有 Playbook(运行手册)可循的告警流所做出的理性适应。那个重要的回归就在一个被静默的频道中发布了,因为团队的监控栈产生的信号无法指导具体行动,而团队唯一的应对方式就是:停止倾听。

这并不是一个告警 Bug。这是当团队沿用旧有的 Playbook 对 AI 功能进行埋点时,产生的一种结构性特征。延迟、错误率、拒绝率、输出 Schema 符合度、Judge-eval 漂移——每一个都是合理的指标。每一个触发时都带有同样模糊的“模型行为改变”措辞。但它们都没有告诉值班工程师该做什么,因为没有人写过将每个信号映射到具体动作的 Runbook,因为大多数情况下,信号并不能对应到具体的动作。值班轮值吸收着噪音,直到噪音盖过了信号,然后值班人员就会绕过产生这些信号的频道。

当候选人说“我会直接用提示词解决”时,面试官之间出现的 40 分分歧

· 阅读需 10 分钟
Tian Pan
Software Engineer

候选人在系统设计题上卡住了,停顿了两秒说:“我直接写个提示词(Prompt)就行。”你资历最深的面试官写下:强烈推荐录用——这正是 2026 年优秀工程师的工作方式。你资历第二深的面试官写下:不予录用——把问题丢给聊天机器人不叫工程。同样的五个字,同样的 40 分钟面试,同一张评分表上出现了 40 分的巨大差距。

候选人并没有搞砸你的面试环(Interview Loop),是你的面试环缺乏明确的观点。复盘会中最糟糕的部分不是分歧,而是每个面试官都如此确信自己的判断是正确的,以至于会议演变成了对 AI 本身的立场投票,而不是讨论这个人是否具备交付能力。

你的客户成功团队无法消化的智能体发布节奏

· 阅读需 12 分钟
Tian Pan
Software Engineer

客户将智能体的回答粘贴到支持聊天中,并要求人工代表进行确认。代表看着同一款产品,却给出了相反的说法。那天,客户并没有对智能体失去信心。他们是对公司失去了信心,因为公司的两个部门在同一个小时内告诉了他们两件截然不同的事情。

一切都没有出错。AI 团队在周二通过特性标志(feature flag)发布了一个提示词更改,到周四已推行至 100%,然后便继续下一项工作了。客户成功(CS)团队的赋能周期是按月进行的 —— 以前每个产品特性都是这样落地的,而且没人针对 AI 重新协商这一流程。CS 代表队列中的宏(macro)和公共网站上的 FAQ 文档描述的仍然是之前的行为。智能体是对的。代表根据他们掌握的文档也是对的。但公司表现得各说各话。

CTO 已拨款但安全团队拒绝让你上线的 AI 功能

· 阅读需 12 分钟
Tian Pan
Software Engineer

事后分析报告(post-mortem)会说“我们发现安全问题太晚了”。但实际的调查结果应该是:安全团队发现你的时间很准时,是你的流程发现安全问题太晚了。

这是一个在 1 月份就通过了预算审批的 AI 功能,因为 CTO 和 CFO 都认为公司需要一个“AI 高光时刻”。3 月份它通过了初步的法务审查,因为当时还只是一个原型。整个第二季度,工程团队都按照商定的规范进行开发。7 月底,发布前的安全审查启动了,结果第一天威胁模型(threat model)就反馈了阻碍性问题:身份验证范围(auth scopes)、数据泄露路径、模型供应商的数据驻留(residency)政策,以及提示词注入(prompt-injection)的攻击面。团队整个季度的时间现在都花在了重新架构上,以解决那些本该在最初规范中就被明确的问题。两个季度的进度延迟,一份关于“流程改进”的高管备忘录,以及在下一个规划周期中悄然决定“降低 AI 深度集成的优先级”。

发布失败并不是因为安全团队动作慢,而是因为安全团队在功能形态已经固化之后才介入。

你的 AI 功能路线图从未计算过的法律审查时间表

· 阅读需 11 分钟
Tian Pan
Software Engineer

你画了一个包含六个季度的 AI 路线图。模型切换、新数据源、多语言发布,以及现在提供建议的提示词,在甘特图上各占一行,并根据工程量的大小确定了尺寸。接着,第一次发布推迟了四周,而复盘报告在三个不同的章节里重复了三次同样的话:“正在等待法务。”路线图原本假设工程能力是关键限制。而实际的瓶颈约束是一堆法务审查队列,每个审查都有自己三到六周的 SLA,且彼此互不知晓,最终全都压在仅有的两名产品法务身上。

错误并不在于任何一项单独的审查。每一项都是有理有据的。错误在于将四个并行功能视为四个并行的时间线,而它们的法务依赖却通过同一个上游资源进行串行处理。到第二次延期时,组织了解了问题的轮廓。到第四次时,它学会了针对此进行规划。那些能够以可预测节奏发布 AI 功能的团队,已经不再将法务吞吐量视为外部的意外,而是开始将其视为与人力和基础设施容量同等地位的规划输入。

当昨天的进度本身就是谎言:AI 时代的站会怎么开

· 阅读需 10 分钟
Tian Pan
Software Engineer

团队上午十点开站会。第一位工程师开始汇报他的 Agent 们昨晚完成了什么——只是,早上七点启动的评测套件还没跑完,Agent 凌晨三点开的那个 PR 正在等另一个 Agent 评审、而后者的队列深度无人知晓,长跑的重构 Agent 已经进入第十一个小时(预估是四小时),既没有卡住的信号、也没有健康的信号。昨天的状态既不是"已完成",也不是"进行中"。从会议室里看,昨天的状态根本无从得知。

![](https://opengraph-image.blockeden.xyz/api/og-tianpan-co?title=%E5%BD%93%E6%98%A8%E5%A4%A9%E7%9A%84%E8%BF%9B%E5%BA%A6%E6%9C%AC%E8%BA%AB%E5%B0%B1%E6%98%AF%E8%B0%8E%E8%A8%80%3AAI%20%E6%97%B6%E4%BB%A3%E7%9A%84%E7%AB%99%E4%BC%9A%E6%80%8E%E4%B9%88%E5%BC%80

站会本来是一种为同步人类工作量身定做的同步仪式。每个人做一件事、完成它、睡一觉、第二天早上汇报。工作的最小单位是一个工作日。汇报的最小单位是一个人。节奏匹配的是底层介质。现在这些前提全都不成立了。今天工作的最小单位是一次 Agent 运行,它在你上床前就启动了,可能在会议进行中或会议后三小时收工。汇报的最小单位是一支集群,而不是一个人。而那个节奏——上午十点准时开始、9 到 15 分钟一轮的轮流播报——是底层介质根本不会按这个频率产出事件的节奏。

看不见 AI 工作的绩效评估模板

· 阅读需 11 分钟
Tian Pan
Software Engineer

你最强的 AI 工程师在这个周期里整理了一个 eval 集、校准了一个评判提示词、并且砍掉了两个最终被证明任务形状不匹配的功能。这些工作没有一条能够塞进评估模板里。于是校准会议要么夸大该工程师最不在乎的产物——PR 数量、设计文档、值班时长——要么编织一段散文来给一个框架根本无法支撑的高评级辩护。无论哪种方式,评分标准和现实正朝着不同的方向拉扯,而这位工程师心里有数。

这套模板是为确定性软件而写的。它奖励那些你能数得过来的东西:发布了多少行代码、拥有多少服务、解决了多少个事故、值班了多少个小时。而 AI 路线图是被另一种形状的工作推进的:整理一个有代表性的 eval 切片;在模型漂移下守住一个行为包络;拒绝发布一个任务形状不适合模型的功能;耐心地缩小评判提示词和人类意图之间的差距。这些工作几乎都不产出评分标准所擅长计算的那种产物。

推理账单:没人愿意背的损益表科目

· 阅读需 10 分钟
Tian Pan
Software Engineer

公司里的某个地方,四个人各自都相信第五个人在管推理账单。工程把它当成云账单的一项。AI 团队把它当成做产品的成本。财务把它当成毛利率的可变输入,默认工程那边已经在管了。产品把它当成工程吸收的间接成本。账单一直在涨,唯一达成共识的是:这账不是我的。

这不是预算问题,而是所有权真空。它第一次浮出水面,往往是因为这条线大到 CFO 在董事会上点名问起。到那时,大家临时拼凑的回答——"我们会优化"、"我们会多做缓存"、"我们会换模型"——描述的是干预手段,却没有指出谁负责。本该在一年前发生的对话,并不是怎么把账单压下去,而是这笔账究竟属于谁的损益表。

这是结构性的变化。推理在企业 AI 支出中的占比,从 2024 年的 15% 涨到 2026 年的大约 85%;同一时间窗口里,企业平均的 AI 预算从 120 万美元涨到了 700 万美元左右。一项原本属于零头的科目,现在已经是董事会会注意到的数字,而那张在变化之前画好的组织架构图里,根本没有给它留一行。