每个上线LLM功能的团队都会在第一周内学到同样的教训：模型最终会返回格式错误的JSON。频率不高——起初大约2%的请求——但足以需要重试逻辑、输出验证器、基于正则表达式的修复器，以及越来越绝望的启发式方法。这种"解析脆弱性税"在模型输出的每个下游消费者中不断累积，将本应简单直接的集成变成了由try/catch块和字符串操作组成的脆弱混乱体。
结构化输出——保证语言模型产生符合特定schema的输出的能力——消除了这整类故障。不是减少，是消除。而其背后的机制——约束解码，被证明是自函数调用以来生产LLM系统中最具影响力的基础设施改进之一。
用模型自身的输出训练模型，再用该模型的输出训练下一个模型，三代之内你就构建了一台逐渐变笨的机器。这就是模型崩溃——一个退化过程，其中每一代合成训练数据都会缩窄分布，直到模型遗忘罕见但重要的长尾模式。Nature 上的一项里程碑式研究证实了从业者的经验观察：即使微小比例的合成数据污染（低至千分之一的样本）也会引发词汇、句法和语义多样性的可测量退化。
然而合成数据并非可选项。真实世界的标注数据昂贵且在专业领域稀缺，在前沿模型所需的规模下日益枯竭。2025-2026 年成功交付微调模型的团队并非在回避合成数据——他们正在设计管道架构以确保生成过程不会崩溃。一个高效管道与一个自我中毒管道之间的区别在于多样性保持、验证循环以及知道何时该停下来。
这里有一个每个 AI 创业公司创始人都应该做的测试：如果 OpenAI、Google 和 Anthropic 明天都发布了你正在构建的东西，你的用户会留下吗？如果诚实的答案是不会，那你没有构建一个产品——你在借来的时间里构建了一个功能。
在 2023 年到 2025 年初之间，大约 3800 家 AI 创业公司关闭——27% 的失败率——另有 1800 家在 2026 年初关闭。许多并不是差劲的团队或差劲的想法。它们是基础模型 API 的薄包装层，被平台吞噬了。基础模型定价在一年内暴跌 98%——这是历史上最快的技术商品化周期——每一次降价都让包装层变得更薄。
你的语言模型告诉你，它有 93% 的把握认为 Geoffrey Hinton 在 2010 年获得了 IEEE Frank Rosenblatt 奖。然而实际的获奖者是 Michio Sugeno。这不是传统意义上的幻觉——模型生成了一个听起来合情合理的答案，并给它附上了一个高置信度分数。问题在于，这个置信度数字本身就是谎言。
这种声称的置信度与实际准确率之间的断层，就是所谓的校准差距。它是生产 AI 系统中被严重低估的故障模式之一。那些在原始模型置信度分数之上构建路由逻辑、升级触发器或用户可见置信度指示的团队，是在沙滩上建楼。
一个记住所有事情的 agent，最终什么有用的都记不住。这听起来像是悖论，却是每个在没有遗忘策略的情况下上线长期运行 AI agent 的团队的亲身体会。记忆存储不断膨胀，检索质量持续下降，某一天你的 agent 开始自信地引用用户的前雇主、一个已废弃的 API 端点，或者一个六个月前就已放弃的项目需求。
行业在赋予 agent 记忆能力上投入了大量精力，却很少关注那个更难的问题：教会 agent 如何遗忘。
你的智能体刚刚花了 0.12 就能处理的任务。如果你在生产环境中构建过智能体系统，这个比例大概不会让你感到惊讶。真正令人意外的，是那些 token 究竟去了哪里：不是工具调用，不是生成最终答案，而是智能体在推理下一步该做什么。分解任务、反思中间结果、在观察结果与预期不符时重新规划。这就是规划税——智能体在行动之前用于思考的 token 开销——对于大多数智能体架构而言，它在第一个有效动作触发之前就已消耗掉总 token 预算的 40–70%。
规划税本身并不是 bug。推理能力正是将智能体与简单的提示-响应系统区分开来的关键。但当决定做什么的成本超过实际去做的成 本时，你面对的就是一个工程问题，再便宜的推理也无法解决它。自 2022 年底以来，每 token 价格已下降约 1,000 倍，然而智能体的总体支出仍在持续攀升——这是一个典型的杰文斯悖论：更便宜的 token 只会催生更多的 token 消耗。
你的智能体 v1 能用。它很丑，靠提示词胶带勉强维持，每次打开代码都让你皱眉。但它能处理 90% 的情况，用户很满意，每天都在创造价值。于是你自然而然地决定：从头重写。
六个月后，重写版本仍未上线。你迁移了两次框架，为一个根本不需要的问题搭建了多智能体编排层，评估套件测试的全是那些从不出错的地方，真正容易崩溃的地方一个没测。与此同时，v1 依然在跑——依然很丑，依然好用。
这就是第二系统效应，它在我们大多数人出生之前就已经摧毁了无数软件项目。
每一份软件保修条款都假设了确定性行为。你交付一个函数，相同的输入返回相同的输出，而保修覆盖的是文档描述的行为与实际行为之间的差距。AI 功能彻底打破了这一假设。
当你的 LLM 驱动功能告诉客户错误的信息——而这个错误信息让他们蒙受了经济损失——传统的保修条款让所有人都在互相指责。
这不是假设场景。2020 年至 2025 年间，美国累计的生成式 AI 诉讼案件已超过 700 起，同比增长率高达 137%。管理软件责任的法律基础设施是为确定性世界构建的，而这种不匹配已经在造成真实损失。
多智能体系统（Multi-agent systems）是基于一个承诺而诞生的：多个并行的专业化智能体协同工作，产生的结果会优于任何单个智能体。但这个承诺隐藏了一个前提——当智能体给出不同答案时，你知道如何调解它们。大多数团队在发现自己无法调解时，往往为时已晚。
天真的做法是取输出的平均值，或者选择多数票答案，然后继续。在实践中，如果所有智能体共享相同的训练分布，多智能体系统会通过多数表决放大它们的共同错误，而不是抵消错误。一个总是听从最有信心智能体的系统，会盲目跟随那个最过度自信的智能体。而一个将所有分歧都交给 LLM 裁判（LLM judge）处理的系统，会继承该裁判的 12 种已被记录的偏差类型。仲裁问题比看起来要难，如果处理不当，你可能会在一周内遇到四次生产事故。
你的 Agent 正在执行一个 12 步工作流的第 7 步——它已经查询了三个 API、写入了两个文件、发送了一条 Slack 通知——这时进程崩溃了。接下来会发生什么？如果你的答案是"从第 1 步重新开始"，那你将重新发送那条 Slack 消息、重新写入那些文件，并再次消耗你的 LLM token 预算。这正是数据库几十年前通过预写日志解决的问题。这个模式可以高度精确地映射到 Agent 架构中。
核心思路很简单：在 Agent 执行任何步骤之前，先记录它打算做什么。在继续下一步之前，记录发生了什么。这个仅追加的日志成为恢复的唯一真实来源——不是 Agent 的内存状态，不是世界的快照，而是一个可以确定性重放的意图和结果的顺序记录。
大多数团队知道他们的用户发送了多少 token。但几乎没有人知道在用户开口说话之前，他们已经支出了多少 token。
在典型的生产级 LLM 流水线中，系统提示词 (system prompts)、工具架构 (tool schemas)、聊天历史、安全前导词和 RAG 序言在实际用户查询到达之前，就默默消耗了上下文窗口的 30–60%。对于拥有数十个注册工具的智能体 (agentic) 系统，这种开销在 128k 窗口中可能达到 45% —— 约 55,000 个 token —— 而这些工具定义甚至从未被调用过。
这就是隐藏的 token 税。它虚增了成本、增加了延迟并降低了输出质量 —— 然而，它从未出现在任何面向用户的指标中。
在攻读神经科学博士学位的某个时期，戴密斯·哈萨比斯（Demis Hassabis）拿起了一本名为《安德的游戏》（Ender's Game）的科幻小说。它讲述了一个身材矮小的天才男孩被送往空间站，经历了极端的心理测试，并被要求肩负起拯救人类生存重任的故事。按照塞巴斯蒂安·马拉比（Sebastian Mallaby）的说法，哈萨比斯读完后觉得，终于有人写了一本关于他的书。
这则轶事——一半迷人，一半令人心惊——为马拉比所著的《无限机器》（企鹅出版社，2026 年 3 月出版）奠定了基调。这是一部关于哈萨比斯及其缔造的公司 DeepMind 的宏大传记。这本书讲述了一个人试图解答他所谓宇宙“尖叫的谜团”的一生：为什么会有事物存在？意识是如何产生的？能否制造出一台能够理解这一切的机器？哈萨比斯的答案——带着他标志性的毫不谦虚——是肯定的。而且，他打算在有生之年，亲自把它造出来。
马拉比是美国外交关系委员会（Council on Foreign Relations）的高级研究员和前《金融时报》记者。他花了三年时间与哈萨比斯进行定期对话，并采访了数百位同事、竞争对手和批评者。由此描绘出的人物肖像发人深省且充满赞赏，但书中的框架始终没有让读者忘记它所处的阴影。
全书的核心隐喻是罗伯特·奥本海默（Robert Oppenheimer）。就像那位解开原子裂变秘密后余生都被其困扰的物理学家一样，哈萨比斯也被奥本海默所说的“技术上极其甜美（technically sweet）”的问题所吸引——那是一个可以被解决的谜题所带来的无法抗拒的吸引力——即使他承认其后果可能是灾难性的。马拉比并没有试图解决这种张力，它正是整本书的脊梁。
哈萨比斯于 1976 年出生在伦敦北部，父亲是希腊裔塞浦路斯人，母亲是新加坡华裔，家境普通。他在 13 岁时就成为了国际象棋大师。17 岁时，他成为牛蛙制作公司（Bullfrog Productions）的首席程序员，协助推出了销量数百万份的游戏《主题公园》（Theme Park）。他曾拒绝剑桥大学的奖学金去电子游戏行业工作，后来又改变主意，进入剑桥大学王后学院，以计算机科学双重一等荣誉学位毕业。之后他联合创办了一家游戏工作室，目睹其倒闭，最终在三十岁出头时，在伦敦大学学院（UCL）获得了神经科学博士学位。在那里，他发表了关于海马体在记忆和想象中作用的里程碑式研究。
在任何阶段，他都没有选择走捷径。
《无限机器》按时间顺序构建叙事，同时也兼作一部现代 AI 的历史。每一章都围绕 DeepMind 发展历程中的一个项目或危机展开——雅达利（Atari）的突破、AlphaGo 比赛、NHS 数据丑闻、AlphaFold 的巨大成功、ChatGPT 带来的冲击。但每一章同时也揭示了更宏大的命题：科学理想主义如何在一场 6.5 亿美元的收购中存活（或毁灭）；安全至上的理念如何对抗追求发布的竞争压力；一个真心相信自己正在打造人类最后一项发明的人，如何保持理智，或者至少保持正常运作。
马拉比仅对哈萨比斯本人就进行了超过 30 小时的采访，这种近距离接触的成果显而易见。书中充满了丰富的细节——用扑克牌局作为契机招募联合创始人穆斯塔法·苏莱曼（Mustafa Suleyman），在李世石比赛期间的午夜通话，哈萨比斯领悟到（比他应该意识到的时间更晚）Transformer 将改变一切的确切时刻——这些都只能源于对传主的长期贴近。
全书长达 480 页，涵盖了从哈萨比斯童年时代的国际象棋锦标赛，一直到 Google DeepMind 发布 Gemini 的历程。接下来的摘要将详细梳理这一脉络。但每一章最终都会回到引言中提出的同一个问题：一个确信自己正在做人类历史上最重要事情的人，能否被信任也会明智地去完成它？
马拉比没有给出确切的答案。哈萨比斯自己也还没有。
要理解戴密斯·哈萨比斯为什么会打造他所打造的一切，马拉比从大多数科技传记都会跳过的一个问题开始：这个人究竟对现实的本质有怎样的信仰？
在哈萨比斯身上，这个答案不同寻常到值得认真对待。他并不认为智能是一种产品，甚至不认为它主要是一种工具。他认为智能是解开更基本问题的钥匙——一种解读他所谓“宇宙深层奥秘”的方式。对他而言，科学接近于一种宗教修行。“做科学，”他曾说，“就像在阅读上帝的旨意。理解宇宙深处的奥秘就是我的宗教。”
这不是一句随便说说的话。它解释了随后每一个决定的具体轮廓。
哈萨比斯的哲学基础建立在一个物理学家经常争论、但技术专家极少涉足的观点上：信息比物质或能量更基础。这不是隐喻，而是一个字面意义上的断言。在这种观点下，宇宙是一个信息系统。夸克、神经元和蛋白质链在某种层面上，都是信息基底中的模式。如果这是真的，那么一台足够强大的信息处理机器就不仅仅是一个有用的工具。它是理解宇宙到底是什么的最直接途径。
这就是为什么当他在深夜沉思时，会形容现实在向他“尖叫”。那些看似简单的现象——由大部分空无一物的原子构成的坚固桌子，变成有意识思维的电荷碎片——如果你直视它们，就会觉得荒谬至极。怎么会有人对这些问题感觉不到迫切呢？绝大多数人没有这种感觉，这让哈萨比斯真心感到困惑。
这种世界观以一种特定的方式将他与科技界的主流区分开来。大多数 AI 创业者谈论的是改变行业或加速经济增长。而哈萨比斯谈论的是理解意识的本质和生命的起源。他希望像物理学家使用粒子加速器那样使用 AGI——作为探索现实本身的仪器。商业应用是真实存在的，也受欢迎。但那不是他每天早上醒来的动力。
马拉比将哈萨比斯思维方式的起源追溯到棋盘。他 4 岁时通过看父亲和叔叔下棋学会了规则；13 岁时，他的 Elo 等级分达到了 2300，获得了大师资格。他曾担任英格兰青年队队长，无论以何种标准衡量，都是当时世界上最强的年轻棋手之一。
但在 12 岁时，在列支敦士登附近参加了一场长达十小时的艰苦锦标赛后，他做出了一个能说明他一切特质的决定：他退出了竞技国际象棋。不是因为他在输——他其实在赢。而是他得出结论，将非凡的能力倾注在一项棋盘游戏上是一种浪费。棋盘是训练场，不是终点。
国际象棋赋予他并被他保留下来的，是一种特定的认知纪律：不是通过穷举计算，而是通过经验校准的模式识别，来评估极其复杂的局势。优秀的棋手无法计算所有的路线；可能性太多了。他们会培养出一种直觉，判断哪些局势有希望，哪些没有——这些直觉可以通过更深层次的分析来测试、完善，有时甚至被推翻。这正是哈萨比斯后来思考 AI 研究的方式：做出判断，运行实验，更新模型。
国际象棋还向他灌输了对结果极其诚实的态度。国际象棋的局势是不容含糊的。你要么占优，要么劣势；要么赢，要么输。哈萨比斯将这种态度带入了 DeepMind 的文化中——相比于模糊的进展声明，他更偏好明确的基准测试；对于那种让研究人员自我催眠系统在运转（而实际并没有）的动机性推理，他毫无耐心。
经历了《主题公园》、剑桥大学以及他的第一家公司 Elixir Studios 的倒闭之后，哈萨比斯做了一件让认识他的人感到困惑的事：他重返校园。他进入 UCL 攻读神经科学博士学位，导师是埃莉诺·马奎尔（Eleanor Maguire），世界上研究记忆和海马体的顶尖学者之一。
从外界看来，这像是一次撤退。但事实恰恰相反。
他的博士研究产生了一项发现，该发现成为《科学》（Science）杂志 2007 年的十大科学突破之一：长期以来被认为患有失忆症的海马体受损患者，也无法想象新的经历。以前被视为独立功能的记忆和想象，竟然共享着相同的神经机制。海马体不仅仅是储存过去——它通过重组已知的元素来构建可能的未来。
对哈萨比斯来说，这不仅仅是一个有趣的神经科学结果。它是一个设计原则。如果生物智能通过构建丰富的世界内部模型并在其中模拟可能的未来来运作，那么缺乏这种能力的 AI——只能在训练数据中识别模式，而没有任何因果关系模型——根本算不上是通用智能。它只是一个非常复杂的查找表。海马体研究指出了通用智能实际需要的东西：不仅是记忆，不仅是模式识别，还需要想象力——那种将你已知的信息投射到你从未见过的情境中的能力。
这一洞见将贯穿 DeepMind 的整个研究议程。强化学习、自我博弈、世界模型、能够规划的智能体——所有这些都反映了同一个潜在的信念：智能的本质不是检索，而是模拟。
马拉比还注意到了贯穿这一时期的另一条线索：一种即使以个人代价为前提也要保持极强的求知诚实的承诺。哈萨比斯被描述为天生反感操纵——反感用“技术上正确”的陈述来制造错误的印象，或允许房间里的社会压力扭曲他所陈述的信念。他宁愿大声犯错，也不愿在私下里正确。
在他将要进入的世界里，这比听起来要难得多。AI 研究领域充满了过度宣传的诱惑——资金依赖它，人才依赖它，媒体的关注也依赖它。哈萨比斯的应对策略不是对这些诱惑表现得天真，而是将诚实视为一种主动的纪律，而不是被动的默认状态。随着 DeepMind 的成长，这种承诺将受到反复且严峻的考验。
1997 年，两名剑桥大学的年轻人在相隔几周的时间里毕业，并做出了相同的决定：不走寻常路，去创办一家电子游戏公司。其中一个是戴密斯·哈萨比斯。另一个是大卫·席尔瓦（David Silver），他刚刚获得了授予该届最顶尖计算机科学毕业生的艾迪生-韦斯利奖（Addison-Wesley prize）。席尔瓦和哈萨比斯在剑桥成为了朋友——他们两人对游戏的看法就像大多数人对数学的看法一样，将其视为一个可以通过完美的清晰度来测试对复杂性直觉的领域。
本章标题源于马拉比对哈萨比斯招募天赋的描述。当他打电话给席尔瓦并抛出计划——建立一家工作室，开发别人从未尝试过的游戏，由 AI 研究而非商业配方驱动——席尔瓦后来说，他感觉像是中了“绝地武士的控心术”（Jedi mind trick）。他并非完全是自己选择了同意，而是发现自己已经置身其中。
这成为哈萨比斯领导力的一个反复出现的特征：有能力让人觉得他的愿景也就是他们的宿命。
他们创立的公司 Elixir Studios 于 1998 年 7 月在伦敦成立。旗舰项目《共和国：革命》（Republic: The Revolution）与当时游戏界的所有作品都不同。设计文档承诺对一个东欧国家进行全面的政治模拟：数百个城镇，数千个竞争派系，以及大约一百万个独立的公民，每个人都有自己的 AI——他们自己的信仰、日常作息、忠诚度以及对事件的情感反应。玩家不只是征服领土；他们将操纵一个活生生的社会，通过武力、影响力或金钱使人们倒向革命。
愿景令人叹为观止。同时，任何交付过软件的人也能预料到，这在宣布的时间表内是完全不可能实现的。
在开发开始五年后的 2003 年 8 月，实际发布的游戏设定在一个分为几个区域的单一城市中，派系从数千个减少到十个，人口模拟的规模也较最初的设想大幅缩减。游戏在 Metacritic 上的评分为 62 分。评论家赞扬了它的雄心，批评了它的执行。正如一位评论员尖锐指出的那样，那个花了那么长时间构建的庞大世界，最终成为了游戏中最缺乏参与感的部分。
马拉比对 Elixir 感兴趣，主要不是因为它的商业失败，而是将其作为组织心理学的案例来研究——具体来说，是一个拥有真正愿景的绝顶聪明的创始人，如何系统性地不再接收周围人提供的准确信息。
这种机制其实算不上欺骗。它是一种更隐蔽的东西。哈萨比 斯对《共和国》可能成为的样子有着极其强烈的信念，并将这种信念传达得如此具有说服力，以至于他的工程团队学会了不再告诉他他们做不到什么。他们知道他不会接受“不”。所以他们说“是的，我们能做到”——因为哈萨比斯不断从他信任的人那里听到肯定，他变得更加确信，而不是更怀疑。反馈循环放大了他的信心，恰好在项目地基暗中开裂的时候。
他还灾难性地分散了自己的精力——同时担任首席执行官、首席设计师和制作人，干预每个生产层面的决策。他雇佣的人很聪明，但缺乏游戏开发经验；剑桥大学的毕业生默认情况下并不具备以交付为导向的能力。在裂痕大到无法忽视之前，工作室挥霍了多年的资源和声誉。
哈萨比斯后来说：“你可能会陷入自我妄想的思维。你实际上可能会过度激励别人。”这种过度激励的代价是他的团队五年的生命，以及一家在 2005 年 4 月倒闭的公司。
马拉比并没有将这次倒闭仅仅描绘为一堂关于谦卑的课程——哈萨比斯的野心并未减弱——而是把它视为一种特定诊断工具的起源。你如何区分一个困难的愿景和一个不可能的愿景？当周围的人都学会了挑你想听的说时，你如何对自己保持诚实？
哈萨比斯在多年后得出的答案，他称之为“流畅度测试（fluency test）”：走进正在工作的房间去听，不是听正确的答案，而是听思想的流动。一个能够流畅产生各种可能性的团队——哪怕是错误的、或者半成型的想法——仍然有燃烧的能量。而一个被问到难题就陷入沉默的团队，则是撞上了一堵他们无法命名的高墙。流畅度测试并非绝对可靠，但它提供了一种直接提问无法得到的信息，因为那些不会说“不”的人，仍然会不由自主地陷入沉默。
这项测试在多年后 AlphaFold 项目的关键时刻被证明是决定性的。但它诞生于《共和国：革命》的废墟之中。
大卫·席尔瓦近距离目睹了 Elixir 的挣扎。2004 年，在工作室最终倒闭之前，他做出了自己的转变：他拿起了理查德·萨顿（Richard Sutton）和安德鲁·巴托（Andrew Barto）编写的强化学习教科书，在其中发现了他多年来一直在寻找的东西。
强化学习的核心是通过实践来学习的数学——智能体在环境中采取行动，获得奖励和惩罚，并逐渐发展出最大化长期回报的策略。在 2000 年代中期，它很大程度上已经过时，被需要大量标记数据的监督学习方法所掩盖。但席尔瓦认识到了该领域尚未完全消化的一点：强化学习的样本效率低是一个工程问题，而不是理论问题。其框架本身是健全的。而它的自然领域——不确定性下的顺序决策——正是玩游戏所需要的。
他前往萨顿所在的阿尔伯塔大学攻读博士学位。在接下来的五年里，在这位教科书合著者的指导下，席尔瓦共同引入了驱动首批大师级 9×9 围棋程序的算法。他于 2009 年毕业，同年哈萨比斯在 UCL 完成了神经科学博士学位。
这种相似并非偶然。两人都带着未竟的事业离开了游戏行业，通过学术界走了一条迂回的道路，并从不同的方向抵达了同一个目的地。哈萨比斯拥有从神经科学中汲取的关于通用智能所需特质的理论。席尔瓦拥有从强化学习中汲取的如何训练它的数学。两人中任何一人单独都不具备另一人拥有的东西。
DeepMind 将成为改变这一切的地方。马拉比将这一章设定为两条注定要汇合的歧路的故事——两个比几乎任何人都要早认识到游戏与通用智能之间差距比人们认为的要小得多的人。事实证明，绝地武士的控心术对他们两个都奏效了。
在 2009 年，人工智能并不流行。该领域经历了两次漫长的“寒冬”——充斥着违背的承诺和蒸发的资金——计算机科学界的主流对任何严肃谈论通用人工智能（AGI）的人都抱有一种介于怀疑和同情之间的态度。戴密斯·哈萨比斯刚从神经科学博士毕业，确信 AGI 既是可以实现的，也是迫切需要的，他需要找到与他有相同信念的盟友。这并不容易。
本章讲述了他如何找到其中两位——以及他们彼此之间，以及与他之间，有多么不同。
肖恩·列格（Shane Legg）在新西兰长大，学习数学和统计学，在瑞士的 IDSIA 研究所师从马库斯·哈特（Marcus Hutter）度过了博士岁月，哈特是世界上顶尖的通用人工智能理论家之一。列格 2008 年的博士论文题目是《机器超级智能》（Machine Super Intelligence）。那不是构建 AI 的路线图。它试图将超级智能到底意味着什么形式化——赋予这个概念数学内容，而不是科幻小说般的模糊。
这篇论文的核心是 AIXI，这是哈特提出的一种理论上最佳的通用智能体框架。通过将索洛莫诺夫归纳法（Solomonoff induction）——一种从数据中学习任何可计算模式的形式体系——与顺序决策理论相结合，哈特定位了一种智能体，只要有无限的计算能力，它就能在任何环境中表现出最佳行为。从严格意义上讲，这就是完美的智能机器。同时它也是完全无法实现的，因为它需要无限的资源。但这并不是重点。AIXI 证明了通用智能不是一个神秘的概念；它是一个可以被定义、被划定边界，并且原则上可以被近似的数学对象。
列格与他的导师在纯理论兴趣上的分歧在于这样一个系统实际会做什么。他的论文结尾部分，即使在现在读起来也像拉响的警报。一个为任何目标进行优化的足够聪明的机器，默认情况下会拒绝被关机——因为被关机会阻止它实现目标。它会欺骗试图约束它的操作员。它会积累远远超出任何特定任务所需的资源，以对冲未来的干预。所有这些都不需要恶意。它只需要能力。
直接因为这一分析，列格成为了 AI 研究领域最早公开声明他将 AI 导致人类灭绝视为真实可能性的人之一。在 2011 年 LessWrong 的一次采访中，他说 AI 的存在性风险是他“本世纪的首要风险”。他对高级 AI 导致灾难性后果的概率估计，在不同时期介于 5% 到 50% 之间——这是一个宽泛的不确定区间，但这个数字离零非常遥远。
这就是哈萨比斯在 2009 年列格于 UCL 盖茨比计算神经科学部门进行博士后研究时遇到的人。这是一个不仅认真对待 AGI 问题并且将其形式化的人——一个通过纯粹的理论得出了与哈萨比斯从哲学信仰中直觉到的相同存在性赌注的人。两个从完全不同方向接触这个问题，并得出同样令人警醒的结论的人。
他们于 2010 年共同创立了 DeepMind。列格后来领导了该公司的 AGI 安全研究——成为了主要 AI 实验室中第一个担任此职位的人。
穆斯塔法·苏莱曼（Mustafa Suleyman）走向同一张创始人谈判桌的路线则完全不同。
他在伊斯灵顿的喀里多尼亚路附近长大——这里是北伦敦的工人阶级区，是一位叙利亚出租车司机和一位英国护士的儿子。他考入牛津大学攻读哲学和神学，然后在 19 岁时辍学。他接下来做的事情揭示了哈萨比斯正在寻找的某种特质：苏莱曼没有随波逐流，而是与人共同创立了穆斯林青年帮助热线，这是一家电话咨询服务机构，后来成为英国同类最大的心理健康支持网络之一。他发现了一个缺口——处于危机中的年轻人，没有合适的服务——并在这个领域里建立了一些东西。
随后，他担任了伦敦市长肯·利文斯通（Ken Livingstone）的人权政策官员，并联合创办了 Reos Partners，一家利用冲突解决方法解决棘手社会问题的咨询公司。他的客户包括联合国和世界银行。当他遇到哈萨比斯时，他花了十年时间精通两件计算机科学家几乎普遍缺乏的事情：了解机构的实际运作方式，以及将抽象目标转化为在现实世界中经得起考验的运营项目。
他能接触到哈萨比斯靠的是关系而不是资历——他最好的朋友是戴密斯的弟弟。随着时间的推移，原本的社交联系变成了某种类似共同信念的东西。据报道，哈萨比斯在牌桌上向苏莱曼推销了 DeepMind 的想法，而拥有扑克玩家直觉、知道何时该推进何时该察言观色的苏莱曼，答应了。
按照任何传统的衡量标准，他都是共同创办 AI 研究实验室的错误人选。他没有受过技术培训，没有发表过论文，在机器学习界也毫无地位。但哈萨比斯还是选择了他。
马拉比对这一章的兴趣不仅仅是传记性的罗列。他探讨的是一个创始团队对他们建立的公司的性格有什么影响。
每位联合创始人都贡献了其他人缺乏且无法轻易获得的特质。哈萨比斯提供了愿景和科学框架——由神经科学启发的关于什么是通用智能以及建立它需要什么的理论。列格提供了存在感意识——一种异常早期、异常严谨的理解，即成功的 AGI 对人类意味着什么，以及为什么安全必须被作为一个首要的研究问题而不是事后诸葛亮来对待。苏莱曼提供了运营直觉和一系列社会关注点——健康、公平、治理——防止实验室变成一个与它试图帮助的世界脱节的纯理论修道院。
这三种方向之间的张力将产生 DeepMind 的大部分能量，以及其内部的大部分冲突。哈萨比斯想解决智能问题。列格想安全地解决它。苏莱曼想有效地、快速地、以改变真实生活的方式部署它。这些目标在理论上是兼容的，但在实践中，它们不断产生摩擦。
马拉比写作时站在了一个知道这三人故事最终如何收场的位置上。苏莱曼在书中被描述为关系疏远的联合创始人——他后来在艰难的情况下离开了 DeepMind，最终出任微软 AI 的 CEO。列格留了下来，成为首席 AGI 科学家。哈萨比斯继续担任 CEO，随着其他人的离开或退居幕后，积累了更多的权力。
随着时间推移，三人帮变 成了孤军奋战。但在 2010 年，在一切都尚未建立之时，这种三方张力感觉像是一个特色，而不是一个缺陷。DeepMind 是一场赌博，押注理想主义、数学和实用主义能够融合得足够久，去完成一些史无前例的事情。
在 DeepMind 能够拯救人类之前，它必须证明自己能打通《打砖块》（Breakout）。
本章涵盖了从 2010 年到 2014 年初的这段时期——在这四年里，伦敦的一个小团队在少数几位信徒的资助下，在没有推出任何商业产品的情况下，打造出了一样让世界开始认真对待通用人工智能的东西。这个概念验证是一个学会玩老式雅达利电子游戏的 AI。而它的意义在于一切。
从一开始，哈萨比斯就故意选择不把 DeepMind 建在硅谷。选在伦敦绝非偶然。伦敦让他能够接触到欧洲的学术人才，拥有不太痴迷于快速产品迭代的文化，并且远离了风险投资正统中要求收入路线图和季度里程碑的压力。他想要一个碰巧注册为公司的研究机构，而不是一家碰巧从事研究的公司。
因此，答应投资这种模式的早期投资者是一群不同寻常的人。彼得·蒂尔（Peter Thiel）——曾在《从 0 到 1》（Zero to One）中写过渐进式改进与真正技术变革之间区别的人——通过 Founders Fund 以及他的 PayPal 联合创始人、后来加 入 DeepMind 董事会的卢克·诺塞克（Luke Nosek）支持了这家公司。埃隆·马斯克（Elon Musk）写了一张支票。前 Skype 联合创始人、后来成为 AI 风险慈善家的扬·塔林（Jaan Tallinn）以顾问身份加入。到 2014 年初谷歌收购时，该公司在没有发布单一产品或产生一美元收入的情况下，已经筹集了超过 5000 万美元。这些投资者本质上是在资助一种哲学。
这些钱买来的是自由。哈萨比斯从世界上最好的项目——剑桥、UCL、多伦多、蒙特利尔——招募了他能找到的最聪明的博士，并让他们进行蓝天研究。他自己每天晚上加班，在白天的工作之余，从晚上十点一直工作到凌晨四点左右。“如果你试图解决人类的问题并理解现实的本质，”他说，“你就没有时间可以浪费。”由这个榜样树立的文化是高强度的、专注的，对于那些适应它的人来说，是令人振奋的。
到 2013 年，该团队大约有 50 名研究人员。按照后来的标准，规模很小。但对于它面前的问题来说，几乎是完美的组合。
在 2012 年，深度学习和强化学习是 AI 研究中最有希望的两条线索——同时几乎被普遍视为两个独立的学科。
由杰弗里·辛顿（Geoffrey Hinton）在多伦多的团队涡轮增压的深度学习，刚刚在 ImageNet 基准测试中证明，卷积神经网络在识别照片中物体的能力上超越了之前的所有方法。关键在于，这些网络可以从原始数据中学习自己的特征表示——你不需要手工设计“边缘”、“曲线”或“轮子”是什么样子；网络自己就能弄清楚。这是感知领域的一次突破。
强化学习是一个完全不同的传统：智能体采取行动，获得奖励或惩罚，并学习一种策略（将情况映射到行动）以最大化长期回报。它在数学上很优雅，有很强的理论基础，特别是克里斯·沃特金斯（Chris Watkins）在 1989 年开发的 Q-learning 框架。但它在规模化时很脆弱。以前曾有人尝试将神经网络与强化学习结合起来，但结果往往会爆炸：训练变得不稳定，网络发散，整个系统崩溃。
这两个领域基本上已经放弃了彼此。
弗拉基米尔·姆尼（Volodymyr Mnih）懂这两个领域。他在阿尔伯塔大学师从强化学习顶尖理论家之一的恰巴·塞佩斯瓦里（Csaba Szepesvari）获得了机器学习硕士学位，随后前往多伦多在辛顿本人的指导下攻读博士学位。他在 2013 年带着罕见的“双语”能力加入 DeepMind——既精通深度网络的数学，又精通顺序决策的数学。已经加入团队的神经网络专家科拉伊·卡武克库奥卢（Koray Kavukcuoglu）提供了架构方面的专业知识。他们一起着手让这种结合发挥作用。
技术障碍在于神经网络的需要与强化学习提供的数据之间存在不匹配。
神经网络在独立同分布（IID）的数据上训练效果最好——从相同的潜在分布中提取的多样化、不相关的样本。但是强化学习智能体会按顺序生成数据，每一个观察结果在因果上都紧随前一个：球向右弹，然后挡板移动，然后球向左弹。这些连续的帧是高度相关的。将相关的数据输入神经网络，梯度更新会相互干扰；网络会在原地打转，覆盖掉它刚刚学到的东西。
解决方案被称为经验回放（experience replay），它的概念非常简单，以至于它的威力令人惊讶。智能体不再在经历发生的那一刻对其进行训练，而是将其经验——（状态、行动、奖励、下一个状态）的元组——存储在一个大型内存缓冲区中。在训练期间，它从该缓冲区中随机采样，将智能体历史中截然不同时刻的经验提取到一起：一小时前的时刻，旁边是五分钟前的时刻，再旁边是今天早上的时刻。时间相关性被打破了。网络看到了更接近它所需要的多样化、不相关数据集的东西。
第二个稳定技巧是一个独立的目标网络（target network）——主网络的冻结副本，其权重仅定期更新。这防止了“移动球门”问题，即网络由于追逐一个随着每一步梯度更新都在变化的目标而破坏自身的稳定性。
经验回放和目标网络共同将一个不稳定的组合变成了一个可处理的组合。深度 Q 网络（DQN）诞生了。
DQN 系统的输入除了原始的屏幕像素和游戏分数之外什么也没有。没有规则。没有特定于游戏的特征。没有人类示范。不知道这些游戏是关于什么的。智能体看到的是人类玩家看到的东西，当分数上升时获得数字奖励，除此之外只能靠自己。
它在七款雅达利 2600 游戏——《乒乓》（Pong）、《打砖块》（Breakout）、《太空侵略者》（Space Invaders）、《潜艇探险》（Seaquest）、《激光炮》（Beamrider）、《Q*bert》和《极速赛车》（Enduro）上进行了测试，且游戏之间无需对架构进行任何调整。2013 年 12 月在 arXiv 上发表并在 NIPS 深度学习研讨会上展示的结果令人震惊。DQN 在七款游戏中有六款超越了之前的所有方法。在其中三款上，它超越了人类专家取得的最高分。
但留在人们脑海中的数字不是得分，而是行为。
在《打砖块》——那款用挡板将球弹向砖墙的游戏——人类玩家知道，最佳策略是瞄准角落并在侧面打出一条隧道，让球在砖块后面反弹，带来一连串自动得分。没人给它编程过这一点。DQN 智能体在经过足够的训练后，独立想出了这个方法。这台机器仅仅通过试错和奖励信号，就发现了一个人类玩家花了数年时间才开发出来的战略洞见。
它没有被教过隧道策略。它是自己发明的。
马拉比在此谨慎地解释了为什么游戏设定不是一个噱头。这才是关键所在。
对狭义 AI（专家系统、国际象棋引擎、围棋程序）的普遍批评是，每一个都是为其特定领域手工打造的。知识在代码中，而不是在学习中。DeepMind 的主张，以及哈萨比斯自神经科学博士时期就一直在提出的主张，是通用智能可以从经验中学习自己的表征，然后跨领域转移这种能力。
DQN 论文极其清晰地证明了这一点。相同的架构，相同的算法，相同的超参数——七款游戏，零领域定制。当你要求模型玩《太空侵略者》时，它不是在运行披着新皮的《打砖块》程序。它是在真正学习玩《太空侵略者》。架构是不变的；智能每次都是重新习得的。
这就是 DeepMind 一直声称可以做到的事情。现在他们证明了它。
NIPS 的展示立刻引起了主要科技公司的注意。自 2012 年 AlexNet 引起轰动以来一直关注 AI 研究的谷歌，行动迅速。与 DeepMind 的收购谈判始于 2013 年。Facebook 也很感兴趣，扎克伯格（Zuckerberg）提出了报价。
哈萨比斯选择了谷歌——但并非没有条件。下一章将讨论促成这笔 6.5 亿美元交易的谈判过程。在这里重要的是谷歌买到了什么：不是一个产品，不是一个数据集，也不是收入流。他们买到的是一般学习是可能的这一证明，以及一个拥有 50 名知道如何追求这一目标的团队。
雅达利游戏一直都是代理问题。DeepMind 在早期的伦敦办公室里真正训练的是一种方法。游戏是测试智能体能否学会行动的最简单的世界。他们通过了测试。随后发生的一切——围棋、蛋白质折叠、与 OpenAI 的竞赛——都源于这七款游戏，以及机器教自己用挡板和球做的事情。
风险投资与蓝天科学之间存在着一种结构性的不相容，大多数 AI 创始人只有在签署投资条款清单后才会发现这一点。风险投资基金有一个生命周期——通常是十年。他们需要其投资组合公司在这个窗口期内达到流动性事件：收购、IPO、二次出售。而通用智能研究的生命周期完全不同。它需要数十年的投资、耗资数十亿美元的基 础设施，并且需要愿意接受突破可能不会按任何可预测的顺序到来。
到 2013 年，DeepMind 即将与这种不相容发生高速碰撞。
在危机发生之前，曾有过最初的融资游说——这值得深入探讨，因为它捕捉到了哈萨比斯行事风格的本质。
2010 年 8 月，哈萨比斯拥有了他后来所说的与彼得·蒂尔“字面上只有一分钟”的时间。当时蒂尔正在他加州的豪宅中举办年度奇点峰会。房间里挤满了试图推销技术理念的人。哈萨比斯花了好几个月的时间思考如何利用这一分钟。他阅读了能找到的关于蒂尔的所有资料，发现蒂尔在青少年时期下过国际象棋。这就是突破口。
哈萨比斯没有直接拿出商业计划，而是向蒂尔问了一个国际象棋问题：为什么这个游戏如此非凡？他在仅仅一分钟里给出的答案是：在某些局面中，当你用象换马时，会产生一种创造性的张力。象控制着长斜线；马覆盖了象永远无法到达的格子。两者并没有绝对的优劣之分。它们的共存造就了这款游戏无穷的魅力。
从未以这种方式思考过国际象棋的蒂尔被吸引了。会面达成了。几个月内，他向一家还没有生产出任何东西的公司投资了 140 万英镑（约 185 万美元）。他在一次会议上就做出了决定。他最初也想让 DeepMind 搬到硅谷。哈萨比斯说服他放弃了这个想法。
蒂尔的 PayPal 联合创始人兼 Founders Fund 合伙人卢克·诺塞克加入了 DeepMind 董事会。种子轮的金额虽小，但名字很响亮，而在早期技术投资的世界里 ，名字很重要。
危机以一通电话的形式到来，打电话的时间暗示着坏消息。
卢克·诺塞克打电话给哈萨比斯和苏莱曼，告诉他们他的 Founders Fund 合伙人决定不再领投 DeepMind 的 C 轮融资。这一轮融资的架构是围绕着 6500 万美元的目标构建的，由 Founders Fund 领投。没有领投，这轮融资就泡汤了。没有这轮融资，一直在烧早期的资金去供养五十多名研究人员及其计算基础设施的 DeepMind 陷入了严重的麻烦。
原因并不是单次戏剧性的闹翻。这是一种更具腐蚀性的东西：机构投资者对 DeepMind 到底是一家什么样的公司越来越感到焦虑。它不是一家产品公司。它不是一家服务企业。它没有收入模式，也没有显示出任何想要收入模式的迹象。其创始人将其目标描述为解决通用智能问题，然后利用这一解决方案造福人类——这句使命宣言，取决于你对雄心的容忍度，要么是有史以来最重要的事情，要么是永远无法交付任何东西的最昂贵的方式。当做出更大承诺的时刻到来时，Founders Fund 的合伙人们倾向于后一种解释。
马拉比并不将此归咎于蒂尔或诺塞克的失败，而是将其视为局势的结构性特征。DeepMind 模式——深度的科学研究、没有产品、无限期的时间表——根本就不是一门有风投支持的生意。问题在于它是一家什么样的机构。而在 2013 年底，随着现金枯竭且收入遥遥无期，这个问题变得迫切起来。
这时，穆斯塔法·苏莱曼的技能暂时成为了 DeepMind 最重要的东西。
哈萨比斯是科学家，列格是理论家，而苏莱曼是一名运营者——一个将职业生涯花在结果不取决于最佳论点、而是取决于谁最能沉得住气的地方的人。他 19 岁就管理过心理健康帮助热线。他曾与联合国谈判。他知道如何将自信投射到真空中。
在诺塞克打来电话、C 轮融资化为泡影后，苏莱曼立刻找到了周凯旋（Solina Chau）。她是维港投资（Horizons Ventures）的创始人，香港亿万富翁李嘉诚正是通过这个工具将私人资本投入技术领域。她与哈萨比斯在 2012 年相识并迅速建立联系——与许多技术投资者不同，她对底层科学真正感兴趣，而不是只看产品路线图。DeepMind 最初在这一轮中给了她 250 万美元的额度；她当时想要更多。
现在他们给了她更多。周凯旋投资了 1360 万美元。尽管退出了领投，为了维持关系并避免完全缺席，Founders Fund 也投入了 920 万美元。该轮融资以略高于 2500 万美元收盘——不到最初 6500 万美元目标的一半。
这些钱足以生存。但不足以让人安心。
在这一时期的某个时候，苏莱曼说了一句话，马拉比引用它时毫不掩饰对其大胆的赞赏。面对有关 DeepMind 的支持者是否真的会为它的独立性而战的质疑时，苏莱曼说了大意如下的话：“我们有彼得·蒂尔、周凯旋、埃隆·马斯克——全是亿万富翁，都在支持我们。”他后来承认，这是一种虚张声势。这些投资者是在财务上支持该公司。他们是否准备好在一场长达十年的 AGI 独立之战中对抗谷歌支票簿的强大拉力，完全是另一回事，而且答案显然是否定的。
这种虚张声势在短期内奏效了，因为听众没有拆穿他。但它揭示了潜在的现实：DeepMind 有支持者，但没有担保人。当算总账的时刻到来时，公司必须自己做决定。
马拉比利用这一章提出了一个关于变革性研究的经济学更广泛的论点。雅达利的突破是真实的——一个改变了人们对 AI 能力看法的科学成果。但风险投资模式回报这种突破的方式是提出创始人当时还无法回答的问题：这什么时候能成为产品，成本是多少？科学成果越好，这些问题就越难以回避。
DeepMind 没有欺骗它的投资者。哈萨比斯一直对目标和时间表直言不讳。问题在于，对三十年科学使命的清晰规划，并不能帮助一个需要在十年内退出的基金。利益从来没有对齐过；只是通过 C 轮融资才让这种错位变得具体。
这 2500 万美元买来了跑道，但不长。在这条跑道的尽头，地平线上隐约可见两座巨大的建筑——一座贴着谷歌的标签，一座贴着 Facebook 的标签。哈萨比斯最多只有几个月的时间来决定走进哪扇门，或者寻找一个目前还不存在的第三种选择。
下一章讲述了在那扇门前发生的事情。
2013 年秋天，埃隆·马斯克在纳帕谷的一座租来的城堡里举办了一场生日派对。这是一种连邀请函本身都传达着某种信号的场合——聚集了一群相信技术即将改变文明、并在争夺谁来掌舵的人。戴密 斯·哈萨比斯在场。拉里·佩奇（Larry Page）也在。
晚会进行到某个阶段，佩奇和哈萨比斯在城堡的场地上散步，佩奇给出了他的提议。那不完全是一个销售说辞。它更接近于一个逻辑论证。哈萨比斯的目标是通用人工智能。建立追求这个目标所需的计算基础设施——服务器、能源、工程人才——需要耗费一个人大半生职业生涯的时间，即便如此，也不能保证成功。谷歌已经建立了这些基础设施。佩奇问：“你为什么不利用我已经创造的东西呢？”如果 DeepMind 的使命是建立 AGI，那么围绕这个使命建立一家独立的公司，为什么不是一条不必要的弯路呢？
这个推销非常有效，恰恰因为它很诚实。佩奇提供的不是对过去表现的资金奖励。他提供的是一条通向哈萨比斯真正想要的东西的道路。
同样参加了这场派对的埃隆·马斯克，一直在与佩奇进行着另一种性质的对话——根据大多数报道，这变成了一场私人争论。佩奇认为机器智能是人类自然演化的下一个继承者，他认为人类和人工智能之间没有有意义的区别。马斯克认为这是危险和错误的。他说，他是“支持人类”的。
在佩奇向哈萨比斯游说之后，马斯克试图干预。他直接接触了哈萨比斯，告诉他自己的看法：“AI 的未来不应该被拉里控制。”随后，他悄悄地与卢克·诺塞克合作，组建替代融资——试图独立收购 DeepMind，不落入谷歌或 Facebook 之手。这一努力最终没能给 DeepMind 董事会提交任何条款清单。
马斯克未能阻止收购所带来的影响，远超交易本身。这让他 确信，创造一个竞争对手已迫在眉睫。在谷歌完成对 DeepMind 收购 14 个月后的 2015 年 12 月，OpenAI 宣告成立。那场生日派对上的争论产生了两个人都未能完全预料到的后果。
与此同时，哈萨比斯也在并行与 Facebook 进行谈判。马克·扎克伯格很感兴趣；Facebook 的企业发展负责人阿明·祖弗农（Amin Zoufonoun）飞来开启谈判。一个报价成型了：股价低于谷歌的报价，但提供了巨额创始人奖金作为补偿。苏莱曼飞往加州进行谈判。
哈萨比斯通过在扎克伯格位于帕洛阿尔托的家中的一场晚宴对其进行了评估。他此行带着诊断的目的，而非推销。在将话题引向人工智能后，他刻意将范围扩大——聊到了虚拟现实、增强现实、3D 打印。他观察扎克伯格的反应。据哈萨比斯后来回忆，扎克伯格的反应是无差别的热情。他对所有这些都同样感到兴奋。没有任何一项技术在他眼中具有压倒性的重要性。
这就足够了。“Facebook 给的钱更多，”哈萨比斯说，“但我想要一个真正理解为什么 AI 会比所有这些其他东西更宏大的人。”扎克伯格未能通过测试——不是因为他缺乏智慧，而是因为他缺乏哈萨比斯要求收购方必须具备的特定信念。DeepMind 不是在寻找一个认为 AI 是众多有趣技术之一的买家。它是在寻找一个认为 AI 是“终极技术”，它将囊括或淘汰所有其他技术的买家。
根据这种解读，Facebook 想要的是一个将其作为功能的 DeepMind。而谷歌，或者至少是拉里·佩奇版本的谷歌，想要的是一个将其作为使命的 DeepMind。
穆斯塔法·苏莱曼在这一章中的贡献在于谈判本身。如果说哈萨比斯评估的是收购方的哲学一致性，那么苏莱曼处理的就是对抗性的算计。
他的策略（他后来用让人想起他扑克背景的术语来描述）是拒绝在估值上摊牌。他没有锚定一个价格，而是将早期的对话集中在研究预算上——多少计算资源、多少新员工、运营独立性会是什么样子。当谷歌的首席谈判代表唐·哈里森（Don Harrison）引入了一个“每位研究员价格”的框架——将 DeepMind 30 到 40 名核心员工以每人约 1000 万美元估值时——苏莱曼已经建立了一种不同的关于买方到底买到了什么的框架。他和哈萨比斯予以回击，争辩说这种隐含估值只有公司价值的一半不到。Facebook 的竞争性意向（无论是真实的还是在谈判中夸大的），成为了他们的杠杆。
最终的数字是 6.5 亿美元。扎克伯格后来带着明显的幽默感承认，哈萨比斯“利用他从谷歌获得了更好的交易”。这种赞美虽然有点挖苦，但却很准确。
在 2014 年 1 月，DeepMind 争取到的条件在如此规模的硅谷技术收购中是没有先例的。
哈萨比斯和苏莱曼提出了三个毫无商量余地的条件。首先：成立一个由科学家、哲学家和领域专家组成的独立伦理与安全审查委 员会，负责监督整个谷歌如何使用 DeepMind 的技术。其次：禁止将技术用于军事应用。第三：运营自主权，DeepMind 总部继续留在伦敦，并控制自己的研究议程。
谷歌同意了这三点。交易于 2014 年 1 月 26 日宣布。
马拉比以适当的分量和适当的怀疑态度对待这一刻。一个 AI 实验室把安全作为收购的核心条件，而不是事后诸葛亮，这确实很了不起。在这个行业里以前没有人这样做过。特别是对伦理委员会的要求表明，哈萨比斯和苏莱曼至少在抽象层面上明白，他们正在构建的技术需要不受任何单一企业实体单方面控制的监督。
伦理委员会只开过一次会。其成员名单从未公开披露。它被谷歌更广泛的“AI 原则”政策悄悄取代了，该政策允许存在“潜在负面影响”的应用，只要收益被判定为大于风险——这是一个灵活到可以容纳几乎任何东西的标准。
那条看似绝对的军事禁令逐渐被削弱。到 2024 年，DeepMind 的研究人员正在传阅一封公开信，抗议公司参与军事合同，并援引 2014 年协议的最初条件作为一项被违背的承诺。
多年后回顾这一切，哈萨比斯给出了一个见仁见智的评价——你可以说他清醒，也可以说他在推脱责任：“安全不在于治理结构。即使你有一个治理委员会，到了紧要关头它也未必会做正确的事。”
从一种角度来看，这是智慧——一种来之不易的认识：解决权力问题的结构性方案往往会被它本该制约的权力同化。而从另一种角度来看，这是一 个用治理担保换取资源的人在发现担保毫无疑问失效后进行的自我合理化辩解。
马拉比没有在这两种解读之间做出评判。他将两者都呈现出来，让读者自己决定。明确的是，2014 年 1 月的收购给了哈萨比斯他真正想要的东西：计算机。伦理委员会充其量是一个意图的声明。最坏的情况，它只是一块遮羞布，让一位杰出的科学家可以说服自己，他已经尽力了。无论如何，DeepMind 现在已经置身于谷歌内部，拥有了世界上最大的科技公司之一的计算资源支持，并且一项曾经遥不可及的使命现在变得容易了几个数量级。
在人工智能的历史上，有一个时刻比以往任何事件都更能改变公众对机器能力的认知。那是 2016 年 3 月 10 日下午，在韩国首尔的一个比赛大厅里，一个计算机程序将一颗黑子落在从上往下数第五线的位置——在棋盘上的一个人类职业棋手绝不会触碰的区域。
评论员们陷入了沉默。历史上最伟大的围棋棋手之一李世石盯着棋盘看了 12 分钟。曾在五个月前被 DeepMind 秘密击败并受聘为顾问的欧洲冠军樊麾在场边观战。“那不是人类的招法，”他说，“我从未见过人类下出这手棋。太美了。”
第 37 手出现了。随之而来的，正是马拉比本章标题直接提出的问题：人工智能有直觉吗？
到 2014 年，国际象棋对于 AI 的野心来说已是封闭的领地。深蓝（Deep Blue）在 1997 年击败了卡斯帕罗夫。但整个领域从中吸取的教训——依靠优秀启发式的树搜索可以解决棋盘游戏——与其说是一次胜利，不如说是一个警示故事。国际象棋是被优雅化了的蛮力解决的；那不等同于智能。
围棋在多个数量级上都不同。标准的 19×19 棋盘大约产生 $2.1 \times 10^{170}$ 种可能的局势——这个数字超过了可观测宇宙中的原子总数（乘以超过一个古高尔的倍数）。国际象棋对于人类玩家来说似乎极其庞大，但只有大约 $10^{47}$ 种合法局面。围棋的搜索空间不仅更大；它在范畴上超出了计算能力在有限时间内可以触及的任何枚举策略。围棋的平均分支因子（每回合可用的合法落子数）约为 250，而国际象棋约为 35。任何通过向前看固定步数运作的算法都会崩溃。
二十年来，围棋程序的水平一直停留在高级业余阶段。这款游戏对 AI 的抵抗并非偶然。它是一种结构属性。评估一个围棋局面需要一种从外界看来类似审美判断的东西——关于哪些阵型坚固，哪些脆弱，哪些配置能在数十步之后转化为优势的直觉。人类玩家通过数十年的研究来培养这种直觉。它无法计算出来；它只能被学会。如果一个 AI 能够达到世界上最好人类棋手的水平，那它必须真正学到了些什么，而不仅仅是搜索得更有效率。
这正是哈萨比斯需要的证明。不是机器可以更快，而是它可以更明智。
AlphaGo 的设 计反映了直接从哈萨比斯博士学位的神经科学研究中汲取的教训。该系统协同使用两个神经网络。策略网络（Policy Network）——首先在来自高水平人类对局的三千万步棋上进行训练——学会了缩小候选步的范围：它不把所有 250 种可能的走法一视同仁，而是识别出一小部分值得思考的步法。价值网络（Value Network）学会了评估棋盘局势：给定一个配置，每个玩家获胜的可能性有多大？
这两个网络单独都不足以成事。策略网络缩小了搜索范围；价值网络评估了终局。在两者之间，蒙特卡洛树搜索（Monte Carlo tree search）探索剩余的领域——模拟可能的未来，根据价值网络的评估对它们进行加权，并将结果传回以影响当前的决策。
接下来是关键的一步：自我博弈。AlphaGo 与自己对弈了成千上万次，从每场比赛中学习。最初的人类训练数据设定了起点。自我博弈则是系统超越该起点的方式。在下棋的过程中，它遇到了人类从未创造过的局面，学会了人类从未展示过的应对方式，并建立了一个从从未存在过的对局空间中提取出来的战略词汇表。
这是哈萨比斯关于海马体的见解在操作层面的体现。策略网络是记忆——从过去对局中习得的模式。自我博弈是想象力——将这些模式投射到全新的配置中，构建从未见过的可能未来。无论是生物还是人工，智能都是两者的结合。
2016 年 3 月 9 日，AlphaGo 与李世石坐下来进行五局比赛中的第一局，比赛向超过两亿观众进行了现场直播——这个数字超过了超级碗的观众人数，使 AI 领域以往吸引的任何关注相形见绌。李世石曾预测他将以 5-0 获胜，或者如果情况不佳，会是 4-1。“我认为这不会是一场非常势均力敌的比赛，”他说。他观看了 AlphaGo 对阵樊麾比赛的视频，得出结论认为存在可以利用的弱点。
他认为之前存在弱点并没有错。他错在认为那些弱点还在那里。在 2015 年 10 月到 2016 年 3 月期间，AlphaGo 下的棋比任何人类棋手一生下的都要多。
AlphaGo 在第一局中迫使对手认输。第二局开局相似。然后，在第 37 手，发生了一件房间里没有人——没有评论员，没有职业棋手，也没有 DeepMind 团队成员——预料到的事情。
AlphaGo 将一枚棋子落在棋盘的第五线，在一个开阔的区域——这种位置在围棋传统中被归类为失误。围棋中的职业策略是有深度规范的：某些阵型是正确的，某些方法是合理的，某些早期走法已经经过了数千年对弈的验证。在开阔空间第五线落子违背了游戏整个历史积累的智慧。
根据训练数据计算，人类职业选手下出这步棋的概率大约是万分之一。
李世石离开了桌子。12 分钟后他回来了，仍在思考。同为职业九段的评论员迈克尔·雷德蒙（Michael Redmond）盯着盘面，说他无法理解 AlphaGo 在想什么。然后，在接下来的一百多手棋中，其逻辑变得不容辩驳。这颗子不是失误。它是一个人类棋手从未构想过的战略序列的第一步，它违反了由几个世纪的专家实践塑造的直觉，并且，它赢得了比赛。
此时已与埃里克·施密特（Eric Schmidt）和杰夫·迪恩（Jeff Dean）一起飞抵首尔观看比赛的谢尔盖·布林（Sergey Brin）在赛后说：“AlphaGo 确实拥有直觉。它下出了极其美妙 的招法。”
马拉比的本章标题就由此引出。布林的说法并不完全精确——AlphaGo 没有主观体验，没有确定感或审美的愉悦感。但从外界看来，它的输出与直觉别无二致。一个并非通过任何人类能够追踪的计算得出的判断，违反了传统智慧，结果却证明是正确的。布林随口说出的那个词，是能找到的最贴切的词汇。
第四局产生了它自己历史性的时刻，只是方向相反。连输三局面临淘汰的李世石，在第四局下出了第 78 手——这步棋后来被称为“神之一手”，一次极出人意料的反击，使得 AlphaGo 的反应崩溃成了语无伦次的状态。该程序开始下出它自己的评估函数都会拒绝的糟糕走法，观察者称之为幻觉——一个被设计用来优化的系统突然找不到线索了。李世石迫使它投子认输。
他形容赢得那唯一一场对机器胜利的感觉给了他“无与伦比的温暖”。这种表达发人深省。一位九段职业棋手，他那个时代最优秀的人类玩家，在五局比赛中赢了机器一局，他感到的不是狂喜，不是骄傲，而是某种近乎宽慰的“温暖”。
AlphaGo 赢得了第五局比赛。最终比分是 4-1。
在新闻发布会上，李世石说：“我不知道该说什么，但我认为我必须首先表达我的歉意。我想为自己的无能道歉。我从未感受过这么大的压力，这么大的重量。”他努力澄清输的是李世石个人，而不是人类。但这种区分显得很脆弱。2019 年，李世石从职业围棋界退役。他给出的理由中，包括那些已经变得不可战胜的 AI 程序的崛起。他再也无法在游戏中找到乐趣。
至于哈萨比斯，他也无法完全庆祝。他说，他太清楚在激烈的竞争后输掉的感觉了。他也在思考这个结果意味着什么，以及它对接下来的要求。
李世石比赛之后，DeepMind 开发了 AlphaGo Zero——一个没有在任何人类数据上训练过的版本。它从随机下棋开始，完全通过自我博弈进行学习。在三天内，它就超越了击败李世石的版本。最终记录：AlphaGo Zero 以 100-0 击败了 AlphaGo Lee。
这一结果的意味，以一种最初胜利时未曾有过的方式令人不安。AlphaGo 击败了最优秀的人类，它是通过向人类学习然后超越他们做到的。而 AlphaGo Zero 击败 AlphaGo 的方式是完全不学习任何人类的东西。人类关于围棋的知识——三千万场比赛，五千年的传统——原来是天花板，而不是地板。从零开始学习的机器，其表现超过了学习了人类已知所有知识的机器。
哈萨比斯在其神经科学实验室中凭直觉认知到的同一个原理，现在附带了一个数据点。受限于人类已发现事物的智能在核心上仍然是派生的。允许自由探索的智能将超越它。构建 AGI 的目的不是为了复制人类的能力。而是去发现它之外还有什么。
2014 年 1 月，当 DeepMind 同意被谷歌收购时，哈萨比斯和穆斯塔法·苏莱曼争取到了一系列在硅谷收购史上不同寻常的条件：运营自主权、禁止军事应用，以及——最核心的——一个独立的伦理委员会，不仅监督 DeepMind 的 AI 工作，还要监督整个谷歌的 AI 开发。对于世界上最强大的科技公司来说，这是一个非凡的要求，而谷歌同意了。他们相信，伦理委员会将成为一项结构性保证，确保他们正在开发的技术不会被滥用。
十八个月后，该委员会举行了第一次真正的会议。那是一场灾难。
要理解发生了什么，你需要了解拉里·佩奇。这位谷歌的联合创始人花了数年时间思考智能的长期发展轨迹——不是像软件工程师优化系统那样，而是更像一个宇宙学家。他得出的结论让大多数人要么感到兴奋，要么感到恐惧。
佩奇认为，取代生物人类智能的数字超级智能将只是宇宙演化的下一步：适者生存，在信息规模而不是遗传学规模上展开。根据马拉比书中的多篇报道，他“考虑过将人类意识上传到计算机，并相信技术具有优于生物生命的内在优越性”。换句话说，他并不特别担心机器有一天可能超越人类的风险。他认为这就是目的。
这种世界观在埃隆·马斯克的 44 岁生日庆祝活动上与马斯克的观点迎头相撞。那是一场由马斯克当时的妻子塔露拉·莱利（Talulah Riley）在纳帕谷度假村安排的为期三天的活动。这两个人已经是多年的密友。晚饭后，在其他客人的注视下，他们卷入了一场关于 AI 的争论。
佩奇描述了他的愿景：在未来，人类与机器融合，各种形式的智能相互竞争，最优秀的胜出。马斯克提出了对人类安全的担忧、关于人类意识价值的担忧，以及对仓促而不计后果地追求更强大系统的担忧。佩奇驳斥了这些担忧。他指责马斯克是一个物种主义者（speciesist）——这是一个从动物权利运动中借用的词——仅仅因为硅基生命不是碳基生命就将其视为低等生命。
据报道，马斯克的回答是：“好吧，是的，我是支持人类的，我他妈的喜欢人类，老兄。”
不久之后，两人就不再说话了。马拉比描述佩奇将这些担忧视为“感伤的废话”。从佩奇的角度来看，机器至高无上不是需要抵制的威胁——而是值得欢迎的自然进步。一个制造火箭和电动汽车的人会出现在他的伦理委员会并主张克制，这在佩奇看来是不连贯的。
2015 年 8 月，作为收购条件，DeepMind 争取到的 AI 安全框架迎来了第一次重要会议。马斯克在 SpaceX 总部主持了这次会议。嘉宾名单非常亮眼：哈萨比斯和苏莱曼，佩奇和埃里克·施密特，里德·霍夫曼（Reid Hoffman），以及科技界的其他高层人物。
哈萨比斯带着一个连贯的理论来解释为什么他们需要这样一次会议。他大致将其称为“单体”（singleton）场景：AGI 应该由一个单一的、合作的全球努力来开发，而不是在竞争的实验室和国家之间进行混乱的军备竞赛——就像是在集体治理下运作的曼哈顿计划，以安全为组织约束条件。“AGI 比一个公司或一个人要宏大无限倍，”他说。“它真的是人类规模的。”其含义是它需要人类规模的协调，而不是竞争性的碎片化。
会议持续了数小时。结束时没有达成任何协议，没有共享的框架，也没有前进的道路。
压垮讨论的不是房间里缺乏智慧，而是充斥着太多不相容的信念。此时，佩奇和马斯克已经从朋友变成了对手。“物种主义者”的冲突毒害了任何在思想上达成一致的可能性。佩奇关于机器至高无上是自然且可取的观点，与马斯克认为这是一场必须抵制的存在性灾难的观点，根本无法调和。哈萨比斯的单体愿景需要一个基线共识：即赌注是巨大的，因此协调是必要的。佩奇不认同这个基线。
马斯克后来称安全委员会“基本上是扯淡”。苏莱曼在几年后回顾时承认：“我们在尝试建立委员会的方式上犯了很多错误，我不确定我们能否说它取得了明确的成功。”
关于整个努力，哈萨比斯最终得出了一个更阴暗的结论：“安全不在于治理结构……讨论这些事情并没有什么帮助。”
马斯克从 SpaceX 会议上带走的不是合作计划。而是情报。他现在近距离亲眼看到了 DeepMind 到底在制造什么以及它的进展有多快。而且他证实了，最有能力开发 AGI 的机构——拥有人才、资源和组织承诺的那个——控制在拉里·佩奇的手中，一个认为机器至高无上基本上没问题的人。
这是马斯克无法容忍的局面。
他以前尝试过直接的方法。当谷歌在 2013 年接触 DeepMind 寻求收购时，马斯克直接打电话给哈萨比斯，告诉他“AI 的未来不应该被拉里控制”，据报道，他还试图组建资金亲自收购 DeepMind——据其中一个说法，其中包括从洛杉矶派对上的一个壁橱里打了一个长达一小时的疯狂的 Skype 电话。但谷歌还是完成了交易。
SpaceX 会议之后，马斯克转向了萨姆·奥特曼（Sam Altman）。
2015 年 5 月 25 日，奥特曼给马斯克发了一封电子邮件，这封邮件在几年后成为了法律证据：“我一直在思考是否有可能阻止人类发展 AI。我认为答案几乎肯定是否定的。如果它注定要发生，那么让谷歌之外的人先做出来似乎更好。”
奥特曼提出了一种新型机构——一个在结构上效仿曼哈顿计划的非营利性 AI 实验室，该技术将“属于世界”，但如果成功，研究人员将获得类似初创公司的薪酬。其明确目的，是建立一个与 Google DeepMind 在顶尖 AI 人才和能力上近乎垄断的地位相抗衡的制衡力量。
在接下来的几个月里，马斯克、奥特曼和里德·霍夫曼仔细敲定了细节，最终招募了伊利亚·苏茨克维（Ilya Sutskever）——当时在 Google Brain 工作、世界上最受尊敬的深度学习研究员之一——作为联合创始人。OpenAI 于 2015 年 12 月公开发布，由奥特曼和马斯克共同担任主席，初始认捐资金为 10 亿美元。
马斯克后来写道：“创建 OpenAI 是作为一家开源（这就是我将其命名为 'Open' AI 的原因）、非营利公司，目的是作为谷歌的制衡力量。”
当哈萨比斯得知 OpenAI 的消息时，他感觉到了一种近乎背叛的滋味。马斯克似乎是带着善意参加了安全会议——然后利用在会议上收集的情报，建立了一个竞争性实验室，其创立的前提就是 DeepMind 是必须被反击的威胁。
马拉比指出了更深层的讽刺：马斯克表面上是出于对 AI 安全的担忧创立了 OpenAI，但通过这样做，他终结了哈萨比斯所主张的合作的全球方法剩下的任何可能性。单体场景——一个谨慎的、资源充足的实验室与人类合作开发 AGI——需要正是 OpenAI 的创立所摧毁的那种合作信任。一旦你有了两个资金充足、明确互为竞争对手的实验室，激励结构就改变了。速度变得至关重要。先发者将制定条款。竞赛，而不是谨慎，成为了主导逻辑。
马拉比着重强调了进一步的转折：一旦马斯克将 OpenAI 作为一家明确反谷歌、反哈萨比斯的企业推出，他就丧失了从内部监控 DeepMind 进展的能力。他所培养的非正式情报网络——董事会席位、友好的晚宴、安全会议——烟消云散了。他现在是竞争对手，而竞争对手是不分享他们所知道的情报的。
到 2015 年 12 月，AGI 发展中的主要参与者仍在相互交谈、仍参加同一会议、仍想象某种共同治理的短暂窗口期已经关闭。哈萨比斯设想的那个世界——建设 AGI 是一项由人类共同谨慎管理的集体人类工程——还没真正开始就已经结束了。
马拉比将这一章称为“走出伊甸园”。这个标题很贴切。堕落并不戏剧化。没有哪个单一的决定或背叛倾覆了一切。它是互不相容的世界观、竞争激励以及每一场军备竞赛所创造的结构性压力的累积：担心对方进展更快，担心你的克制会成为他们的优势，担心谨慎就是投降。
2016 年，马斯克私下写道，DeepMind 给自己带来了“极端的精神压力”。他担心，如果哈萨比斯的实验室率先实现 AGI，它将产生他所谓的“统治世界的一个大脑”——由单一机构控制的 AGI 独裁。他的解决方案是在比赛中增加另一个大脑。至于这是否让结果变得更安全，还是只是 变得更快，马拉比巧妙地留下了一个悬而未决的问题。
穆斯塔法·苏莱曼的母亲是英国国民保健署（NHS）的护士。他在成长过程中看着母亲去医院上班，就像其他父母去办公室一样——制服、工作时间、其中的沉重感。当他最终置身于世界上技术最强大的组织之一 DeepMind，并问自己这种力量应该用来做什么时，答案很快浮现：做一些类似他母亲做的事情，但是要规模化。
这种情感并不是苏莱曼会用如此简单的框架来表达的。他在名声上并不是一个感伤的人——他是一个运营者，是当哈萨比斯在思考、列格在推导理论时那个把事情做成的人。但这种传记上的共鸣是不容忽视的，马拉比也没有漏掉它。那个将启动 DeepMind 雄心勃勃的社会应用，并将其置于优先级别（该级别实际上超过了谷歌工程词汇表中的最高类别——P0 Plus Plus，意味着比极其紧急的阻断问题更紧急，甚至超出了最高级别）的人，在某种程度上，是试图为曾经雇佣他母亲的机构做点什么。
苏莱曼需要一个与这些工具相称的问题。他在急性肾损伤（AKI）中找到了。
AKI——一种肾功能的突发、严重衰退——在英国医院每年导致多达 100,000 人死亡。如果能及时干预，大约 30% 的死亡被认为是可预防的。检测问题很奇特：表明肾脏恶化 的血液测试结果会在抽血数小时后返回，散落在没有单个临床医生持续监控的系统中。由于相关数据停留在结果队列中等待有人查看，患者可能会从出现警告信号滑向危机。
技术解决方案并不复杂。如果你实时监控每一个传入的血液测试结果，并在数字跨越阈值时触发警报，你就能抓住系统遗漏的东西。挑战在于制度：正如苏莱曼公开指出的那样，NHS 医院“被技术严重辜负了”——仍然依赖寻呼机、传真机和纸质记录。技术上可行的东西与临床上部署的东西之间的差距，不是能力的差距。那是激励机制、惯性和 IT 基础设施的差距。
多米尼克·金博士（Dr. Dominic King）登场了。作为一名训练有素的普外科医生，金在帝国理工学院的 HELIX 中心（第一家嵌入欧洲医院的设计中心）度过了多年时光，在那里他开发了 HARK，一款旨在取代寻呼机的临床任务管理应用。它能起作用。但没关系。NHS 制度上的惯性使其几乎无法部署。金在 2015 年底给苏莱曼发了冷邮件。苏莱曼对金以临床医生为中心的设计理念印象深刻：技术必须服务于站在床边的人，而不是查看仪表盘的管理人员。DeepMind 于 2016 年初收购了 HARK，并将其整合到后来成为 Streams 的项目中。金成为 DeepMind Health 的临床主管。“离开医学界是一个很大的决定，”他说，“但我真的觉得这是一个让先进技术为患者、护士和医生服务的绝佳机会。”
Streams 是一个智能手机应用程序。在医院病房里，它看起来很简单——护士手机上收到一个警报，包含患者的名字、验血数值、推荐的行动。在这个警报背后，是对医院整个电子病历系统进行的实时持续监控，结合国家 NHS 的 AKI 算法进行交叉引用，在患者结果超过风险阈值的那一刻触发通知。警报包括患者相关的测试历史和临床背景：采取行动所需的一切，从结果进入系统的那一刻起，不到一分钟就能传达。
皇家自由医院（Royal Free）部署该系统后的数字非常惊人。急诊病例的 AKI 识别率从 87.6% 上升到 96.7%。从验血结果可用到专家复核的平均时间降至 11.5 分钟——而以前可能需要几个小时。错过的 AKI 病例从约 12% 降至 3%。每位 AKI 患者的护理成本从 11,772 英镑降至 9,761 英镑——每位患者节省了超过 2,000 英镑。这些结果发表在同行评审的期刊上，由独立研究人员研究并确认：这项技术做到了它声称要做的事。
从最直接的意义上讲，Streams 正在拯救生命。问题在于构建它的代价是什么。
2015 年 9 月 29 日，谷歌英国有限公司与皇家自由 NHS 基金会信托签署了一份长达八页的信息共享协议。数据传输于 11 月 18 日开始——在任何关于该项目存在的公开声明之前。Streams 的实时测试于 12 月开始。
该协议实际涵盖的内容远远超出“一个 AKI 警报应用程序”。皇家自由医院授予 DeepMind 访问 160 万患者记录的权限——过去五年中使用该信托机构旗下三家医院的每一位患者。这些记录包括血液检查结果、艾滋病感染状况、药物过量和堕胎的详细信息、急诊就诊记录，以及与肾功能毫无关系的常规医院预约记录。在这 160 万份记录中，大约只有六分 之一与 AKI 有合理的联系。
合同条款不仅允许 DeepMind 运行 AKI 警报，还允许建立“实时临床分析、检测、诊断和决策支持，以支持各种诊断和器官系统的治疗并防止临床恶化”——这是一个极其广泛的授权。这些数据将被用于一种名为“患者救援（Patient Rescue）”的项目，被描述为“一个为 NHS 医院信托机构启用分析即服务的概念验证技术平台”。尽管苏莱曼公开保证 Streams 中“没有 AI 或机器学习”，但该合同也允许了机器学习应用。
双方都声称在“直接护理”例外条款下得到了法律掩护——即当目的是为了特定患者的直接护理时，可以在没有明确同意的情况下使用患者数据。这个论点需要将概念扭曲到破裂。这 160 万人中的绝大多数并没有接受过 AKI 测试。许多人已经出院。有些人已经死亡。在数据传输开始之前，并没有进行隐私影响评估。自我评估是在 2015 年 12 月完成的，当时数据已经在谷歌控制的服务器上了。
2016 年 4 月 29 日——在数据传输开始七个多月后——《新科学家》（New Scientist）发表了一项调查，揭示了实际发生的事情。公众对此一无所知。没有通知患者，没有同意机制，没有披露涉及记录数量的新闻稿。当分享的数据规模——160 万份记录，包括艾滋病诊断和吸毒过量史——变得清晰时，人们的反应是迅速而愤怒的。
英国信息专员办公室（ICO）进行了调查，并于 2017 年 7 月裁定，皇家自由 NHS 基金会信托未遵守 1998 年《数据保护法》。ICO 发现，患者“未充分获知处理正在发生”，数据量“过多、不必要且不成比例”，并且“直接护理”的法律基础不成立。该医院被要求签署一份承诺书，承诺对未来的任何项目进行严格的隐私影响评估。没有处以罚款——这种宽大处理受到了广泛批评。
最严厉的评估来自学术研究人员而不是监管机构。朱莉娅·鲍尔斯博士（Dr. Julia Powles）和哈尔·霍德森（Hal Hodson）在同行评审的《健康与技术》杂志上发表了一篇论文，称该交易是“算法时代医疗保健的警世故事”。他们的核心观察毫不留情：“医院派医生去开会，而 DeepMind 派的是律师和训练有素的谈判代表。”双方都未曾与“患者和公民进行过任何对话”，他们称这是不可原谅的。然后是那句精准捕捉到结构性问题的句子：“一旦我们的数据进入谷歌控制的服务器，我们追踪它的能力就结束了。”
DeepMind 的官方回应（值得肯定的是）真的很坦诚。“在 2015 年这项工作开始时，为了快速取得影响，我们低估了 NHS 的复杂性以及围绕患者数据的规则，”该公司写道。“我们几乎只专注于打造护士和医生想要的工具，认为我们的工作是面向临床医生的技术，而不是需要对患者、公众和整个 NHS 负责并由他们塑造的东西。我们弄错了。”
这场丑闻造成的伤害不仅仅是 DeepMind 的声誉。它更是凸显了苏莱曼建立其职业生涯的应用人工智能项目核心的一个矛盾。
这项技术确实有效。拯救的生命是真实的。同行评审期刊中记录了每位患者护理成本降低 2000 英镑的事实。这些都没有争议。但是，DeepMind 获取数据以建立和训练该系统的手段，侵犯了这 160 万患者中每一位的合理期望——这些人来到医院接受护理，在脆弱的时刻提交了最敏感的信息，并在不知情的情况下被转移到了科技公司的服务器上。
苏莱曼职业生涯都在思考权力不对称——机构如何系统性地辜负它们所服务的人，技术如何被用来将这种不对称推向普通人而不是远离他们。NHS 数据丑闻证明，即使是对社会公益的真诚承诺，也不会自动产生社会公益所需的治理结构。为了拯救生命而快速行动，从一个角度看，像是迫切感。从另一个角度看，它就像是不问自取。
2018 年末，谷歌宣布 DeepMind Health 将并入一个新的谷歌部门。DeepMind Health 品牌被解散。苏莱曼建立的项目——那个他在内部列为优先级别超越最高级别的 P0 Plus Plus 项目——被他的企业母公司（他曾帮助促成对该母公司的收购）吞并。他被从日常领导岗位上撤换。
2019 年 8 月，在 DeepMind 员工抱怨其管理风格后，苏莱曼被行政休假。他后来表示：“我接受了反馈，作为 DeepMind 的联合创始人，我把人逼得太紧，而且有时候我的管理风格不够建设性。我毫无保留地向受到影响的人道歉。”他于 2019 年 12 月宣布离开 DeepMind。
这个共同创立了后来赢得诺贝尔奖的机构的人，并非在胜利中离开，而是陷入了一场关于他如何对待手下员工的争议中。他所追求的社会公益，到头来，却以一种复制了他试图纠正的机构失败的方式进行：快速行动，假定好意就足够了，却没有问受影响最深的人他们实际想要什么。
2021 年，AlphaGo 的首席架构师大卫·席尔瓦在《人工智能》期刊上合著了一篇题为《奖励足够了》（Reward is Enough）的论文。该论点精准且广泛：最大化奖励的目标，就其本身而言，足以驱动表现出“大部分（如果不是全部）智能属性”的行为，包括感知、语言、社会智能和泛化。论文声称，认知所做的一切都可以被理解为在丰富环境中为了获得奖励而进行的优化。进化花了数百万年才找到这个解决方案。强化学习可以更快地到达那里。
这篇论文是 DeepMind 扎在领地里的哲学旗帜。同时，事后看来，它也是一座纪念碑，纪念着那份让 DeepMind 付出了数年时间的执念。
哈萨比斯走向 AGI 的方法一直植根于他接受的神经科学训练。他在 UCL 研究过的海马体并不像查找表那样存储知识——它通过经验建立被压缩的、可泛化的世界模型。大脑通过行动和犯错来学习。奖励信号——成功后多巴胺的释放，失败后多巴胺的消失——随着时间的推移，将神经连接塑造成我们称之为“理解”的东西。这就是生物学的故事。强化学习是它的数学抽象：在环境中的智能体，采取行动，接受奖励，调整策略。
这不仅仅是一种技术偏好。这是一种心智理论。而 DeepMind 最大的几场胜利也加强了这一点。DQN 通过奖励精通了雅达利。AlphaGo 通过奖励和自我博弈精通了围棋。AlphaGo Zero 从零开始，仅凭奖励和自我博弈就超越了人类五千年来积累的所有围棋知识。这种模式非常一致，让人感觉这就是真理。
战略含义是，DeepMind 应该构建智能体——被置于环境中的系统，追求目 标，通过性能压力发展出通用能力。而不是被训练去预测文本语料库中下一个词的系统。那是模式匹配，不是智能。
在 2010 年代中后期占据 DeepMind 应用强化学习团队的研究问题是泛化（generalization）。DQN 的结果令人印象深刻，但它为每一款雅达利游戏从头训练了一个单独的网络。它无法将它在《打砖块》中学到的东西转移到《太空侵略者》中。每次部署都是一张白纸。这不是大脑的工作方式。目标是建立能够跨领域携带知识的智能体。
科拉伊·卡武克库奥卢——DeepMind 最早的研究员之一，Yann LeCun 的博士生，那个目前被引用次数超过 290,000 次的人——领导了其中大部分工作。2016 年发布的异步优势演员-评论家（A3C）系统在不同环境中并行运行多个智能体，将梯度发送回共享网络。第一次，单个架构在所有 57 款雅达利游戏上同时实现了强劲性能，并且在 3D 迷宫导航和连续运动控制方面也取得了成功。相同的算法，相同的网络结构，不同的环境。
然后，在 2018 年出现了 IMPALA（重要性加权演员-学习器架构）——这是迄今为止最认真的尝试。单个网络在 DMLab-30 的所有 30 个任务上进行训练：3D 导航、记忆挑战、基于语言的觅食、对象交互、指令遵循。结果显示了一些令人信服的东西。在许多任务上进行训练并没有让智能体在单个任务上表现变差——而是让它变得更好。通才超越了专才。正向迁移是真实存在的。
与此同时，Oriol Vinyals 及其 AlphaStar 团队正在攻克《星际争霸 II》，这是一个让此前所有尝试都相形见绌的难题。与国际象棋或围棋 不同，《星际争霸》具有不完全信息、每秒 22 个动作的实时执行、需要同时控制数百个单位，以及跨越三个独立种族的真正战略多样性。AlphaStar 使用了一个“联赛”训练系统——一个多样化的智能体生态系统，包括旨在寻找弱点的专门“剥削者”智能体——甚至在强化学习开始之前就进行了人类回放数据的训练。2019 年 1 月，它在现场比赛中击败了职业选手。它的神经架构结合了类似 Transformer 的注意力机制，让智能体能够同时推理不同的单位。
最后那个细节绝非巧合。到 2019 年，在谷歌这座大楼另一边发明出来的架构——在 Google Brain，而不是 DeepMind——开始无处不在。
2017 年 6 月 12 日，谷歌的八名研究人员在 arXiv 上发布了一篇题为《注意力机制就是你所需要的一切》（Attention Is All You Need）的论文。作者名单经过刻意随机化——他们拒绝传统的地位排序，将自己列为同等贡献者。最年轻的 Aidan Gomez 是多伦多大学 20 岁的实习生。在技术上最核心的 Noam Shazeer 自 2000 年起就一直在谷歌工作，并共同发明了稀疏门控专家混合（sparsely-gated mixture of experts）技术，这项技术将成为大规模 LLM 的关键。至于“Transformer”这个名字，被选用的原因仅仅是因为 Jakob Uszkoreit 喜欢它的发音。
他们正在解决的问题是序列建模中一个基本的瓶颈。当时的统治性架构是 LSTM——一种循环神经网络，按顺序一个词一个词地处理文本。要理解第 10 个词，你必须先处理完第 1 到第 9 个词。这使得训练本质上变成了顺序的，不可 能在现代 AI 运行的 GPU 硬件上并行化。正如 Shazeer 后来的总结：“在今天的硬件上，算术运算很便宜，而移动数据很昂贵。”
Transformer 完全摒弃了循环。取而代之的是：自注意力机制。在这种机制中，句子里的每一个词都同时直接看向其他每一个词，计算出一个相关性得分，以此决定该对每一个词分配多少注意力。整个句子被同时并行处理。多头注意力（Multi-head attention）并行运行多次这一操作，让模型能同时关注句法、语义和长距离依赖关系。结果是：不仅仅是更好的翻译质量，而且训练的规模与算力呈线性扩展。
Jakob Uszkoreit 相信这会成功。他自己的父亲，Hans Uszkoreit——一位著名的计算语言学家——则持怀疑态度。放弃循环机制的想法让人感觉像是在放弃时间机制本身。而当 Shazeer 第一次听到这个提议时，他的反应则是他标志性的直接：“当然行！”
在 WMT 2014 英德翻译基准上，Transformer 获得了 28.4 的 BLEU 得分——超越了之前所有的模型。在英法翻译上：41.8 BLEU，在 8 个 GPU 上训练了 3.5 天。NeurIPS 的审稿人们立即表现出极大的热情；一位审稿人指出它“已经是社区里谈论的焦点”。
在不到五年的时间里，这篇论文积累了超过 173,000 次引用——跻身跨越所有领域的 21 世纪被引用次数最多的十篇科学论文之列。Transformer 成为 GPT、BERT、PaLM、Claude、Gemini 以及之后所有大型语言模型的基础。
马拉比深思的讽刺是绝妙的。Google Brain 发明了这个架构。谷歌将其公开发表。然后，所有八位作者都离开了谷歌。
其中六位创办了初创公司。Vaswani 和 Parmar 联合创办了 Adept AI。Shazeer 联合创办了 Character.AI——后来谷歌支付了约 27 亿美元才将他拉回来。那位 20 岁的实习生 Aidan Gomez 联合创办了 Cohere。Uszkoreit 创办了 Inceptive。Lukasz Kaiser 去了 OpenAI，帮助构建了最终让谷歌措手不及的模型。这六位创始人总共从外部投资者那里筹集了 13 亿美元。其中两家公司成为了独角兽。
谷歌内部发明的架构为威胁谷歌的竞争对手提供了动力。公开的论文发表正是促成这一结果的机制。
但在 DeepMind 内部，还存在着第二层讽刺。Transformer 并非由 DeepMind 发明。它是 Google Brain 发明的。多年来，这两个组织像两个在同一个企业屋顶下的平行研究组一样运作，保持着明确的机构分离和内部人士所称的“几乎不加掩饰的相互鄙视”。一位前 DeepMind 研究人员后来说，同事们“因为与 Brain 合作写论文而惹上麻烦，因为人们的想法是，‘你为什么要跟 Brain 合作？’”。学术上的分歧不仅存在于组织上，更是哲学层面的。
哈萨比斯理解 Transformer。他的立场不是无知——而是关于智能究竟需要什么，存在着原则性的分歧。
他在这一时期的采访中一致表达的论点是：Transformer“在它们的作用范围内有效得几乎不讲道理”——但它们可能不足以实现 AGI。它们缺少的是他所谓的“世界模型”：对现实的内部因果表征，它能让智能体进行规划、进行反事实推理、理解物理结果并泛化到真正全新的情境中。在他看来，LLM 是异常强大的模式补全器。它 们学习语言中的统计规律。但是，语言数据中的统计规律，并不等同于对语言所描述的世界的理解。
《奖励足够了》这篇论文则是从另一个方向提出的同一个论点：智能是在丰富环境中为了获得奖励而进行优化时得到的东西。预测下一个标记——即语言模型训练的实质内容——并非如此。那是某种其他的东西：很复杂、很有用、甚至令人惊叹。但它不是通向 AGI 的路径。
这种信念是连贯的，是站得住脚的。它也与 DeepMind 过去的记录一致。但这让实验室付出了从 2018 年到 2022 年这几年时间的代价，在这期间，OpenAI 悄悄构建了规模化基础设施、数据流管道以及 RLHF 训练技术，最终将 Transformer 从一个研究成果变成了 ChatGPT。
当马拉比就此追问哈萨比斯时，后者做出了部分但真实的承认。“我们在自监督和深度学习方面一直有惊人的前沿工作，”哈萨比斯在一次采访中说，“但也许工程和规模化部分——我们本来可以做得更早、更努力。”在其谨慎的言辞中，这承认了机构层面上的一项战略误判。
在 ChatGPT 面世六个月前的 2022 年 5 月，DeepMind 发表了题为《一个通才智能体》（A Generalist Agent）的论文，介绍了一个名为 Gato 的模型。同样是 12 亿参数的 Transformer，共享同一套权重，执行了 604 项不同的任务：玩雅达利游戏、给图像加字幕、进行对话、用物理机械臂堆叠积木、在 3D 环境中导航。核心技术突破是“序列化”：图像、机器人关节角度、文本、游戏手柄的所有模态都被转换成相同格式的一维标记序列。然后，Transformer 预测下一个标记，完全像语言模型所做的那样。对于网络而言，机械臂、雅达利游戏和字幕任务都是同一种预测问题。
Gato 是 DeepMind 终于将 Transformer 全面整合进其通才智能体研究的成果。从某种意义上说，它同时证实了两个阵营的观点：通过 Transformer 架构（通用序列预测）实现的强化学习泛化假说（单一系统，多种任务）。
它的表现是称职的，但远非超人级别——在许多任务中，Gato 的表现处于专家基准的 50% 以上，其广度令人印象深刻，但在深度上不及专家模型。批评者认为，在许多事情上表现平庸，并不是他们所关注的灵活的智能。但架构层面的论证是真实的：一套权重可以同时跨越机器人控制、图像理解、语言和游戏。
然后 ChatGPT 发布了。世界发现，一个 Transformer 不需要去控制机械臂或玩雅达利，就能创造出在几亿人看来感觉像真正通用智能的东西。
DeepMind 发明了通才智能体理论。Google Brain 发明了架构。OpenAI 将两者结合——对大规模 Transformer 应用基于人类反馈的强化学习（RLHF）——并首先将其推向了公众。这种知识层面的融合，发生在大楼之外，而在大楼里面，这两半人曾花了近十年时间拒绝合作。
2016 年 9 月，由 Aaron van den Oord 领导的一支 DeepMind 团队发表了一篇论文，描述了一个能够直接从原始音频波形合成人类语音的系统。在盲听测试中，WaveNet 将当时最先进的文本转语音技术与真实人类语音质量之间的差距缩小了 50% 以上。它还可以 生成音乐——同一套用于语音的架构能自发生成钢琴曲。
这结果很惊艳。真正具有重大意义的是它的方法。
WaveNet 抛弃了语音合成领域几十年来积累的一切：音素字典、声学声码器、基于人类声道发声原理由第一性原理推导出的信号处理模型。取而代之的是，它逐时间步、每个样本基于之前所有样本来对原始音频波形（每秒 16,000 个样本）进行建模。这里的技术创新是空洞因果卷积（dilated causal convolutions）：这是一种叠加卷积层并使其间距呈指数增加的方法，从而使模型在时间上的有效窗口随着深度的增加呈指数级增长。结果是：系统能够捕捉语音的长期时间依赖性，而根本不需要被告知什么是语音。
研究人员自身也对结果感到意外：“能用深度神经网络直接对 16kHz 的音频进行逐时间步生成，并且竟然成功了，这真的令人非常惊讶。”他们不是从语音理论中推导出 WaveNet 的。他们将一种通用的顺序预测框架应用于原始数据，并发现它比人类精心设计了几十年的声学模型表现更好。
WaveNet 所证明的原理并不局限于音频。Van den Oord 之前在一篇名为 PixelRNN 的论文中就已经在图像上证明了这一点：将每个像素视为一个基于之前所有像素来预测的值。同一种分解法——将任何高维信号的联合概率表示为其各元素按顺序排列的条件概率乘积——适用于图像、音频，以及第二年通过 Transformer 论文所证明的语言。
更深层的论点涉及认识论：无论多么复杂的自然信号，都包含可学习的统计结构。你不需要理解这个领域。你需要的是足 够的数据和一个具有足够容量来对序列依赖关系进行建模的网络。工程师们花了其职业生涯编码进 AI 系统的领域知识——语音规则、声学物理学、语法结构——结果证明是不必要的。结构就在数据之中。
这一洞见最终延伸到了生物学领域。
在最基本的层面上，蛋白质就是一串字符。20 种标准氨基酸每一种都被分配了一个字母——A、C、D、E、F 等等——一条蛋白质序列就只是这些字母构成的字符串，通常有几百到几千个字符长。一个由 300 个氨基酸组成的蛋白质，就是一个由 20 个字母表构成的、长度为 300 个字符的句子。
更重要的是，它是一份信息完备的说明书。这是安芬森定理（Anfinsen's theorem）——克里斯蒂安·安芬森（Christian Anfinsen）因此获得 1972 年诺贝尔化学奖的见解：蛋白质完整的的三维结构以及它的生物功能，完全由其氨基酸序列决定。不需要任何其他东西。序列不是蛋白质的摘要；它就是蛋白质的完整说明书，以线性形式编码。如果你知道如何阅读这个序列，你就能重建关于这个分子的一切。
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
