重要 纽约时报：从 AI 末日论到创立 Anthropic，Dario Amodei 的执念与安全博弈

据深潮 TechFlow发布，作者：纽约时报编译：佳欢，ChainCatcher 2007 年的一个晚上，在普林斯顿大学读博的 Dario Amodei 接待了一位来访的朋友。他刚读完计算机科学家 Ray Kurzweil 于 2005 年出版的《奇点临近》，迫不及待地与朋友分享书中的观点。 Kurzweil 在书中预测，人工智能最终会超越人脑，迎来一个被称为“奇点”的时刻。Dario 一边用手指绕着头发，一边告诉朋友 Colin Heckman，这一时刻可能在他们有生之年到来。 “他着迷了。”与 Dario 在旧金山读同一所高中的 Heckman 说，“他说，AI 必须以正确的方式被创造出来，否则我们就完了。” 当时 24 岁的 Dario 还是一名物理学博士生，正处于大量吸收信息的阶段。 他沉迷于阅读《加速的未来》（Accelerating Future）和《克服偏见》（Overcoming Bias）等相对小众的博客，博主们在其中讨论 AI 毁灭人类的可能性。 他还深入研究了 GiveWell 的在线论坛。GiveWell 是一家致力于最大化慈善捐赠效果的机构，知识分子们在论坛上讨论如何为慈善事业赚取最多的钱。 我们采访了 Dario 的二十多位同学、朋友、老师和同事。他们的讲述显示，这些书籍、博客和在线社区至今仍在影响着他，也为理解这位 43 岁的 Anthropic 首席执行官如何看待 AI 提供了线索。Anthropic 预计将在本月上市，这可能成为全球规模最大的公开上市之一。 他的朋友和同事说，Dario 世界观的核心，是两种相互交织的思想。它们都坚信，数学推理可以改变人类的未来。 一种是“理性主义”，强调以冷静、理性的方式看待世界。自学成才的 AI 研究员 Eliezer Yudkowsky 等人信奉这一思想，并认为 AI 将变得足够强大，最终可能摧毁社会。 另一种是与理性主义共同发展的“有效利他主义”，它试图通过精确的数学计算，最大化社会福祉。 他的朋友和同事说，在 Dario 那里，这两种思潮融合成了一种坚定的信念：AI 可能极其危险，只有他和志同道合的技术专家才值得被托付开发这项技术。这促使他努力赶在那些不关心人类安全的人之前创造 AI，也激发了他控制这项技术的愿望。 Dario 在 9 月发表的一篇呼吁放缓 AI 发展的文章中写道：“只有以正确的方式构建这项技术，我们才能获得它带来的好处。只要我们能善用争取到的时间，就值得以格外审慎的态度把事情做对。” 这些思想成为 Anthropic 的基础。2021 年，Dario 与妹妹 Daniela Amodei 以及另外五人共同创立了这家公司。他们都曾与理性主义和有效利他主义社群有过接触。随着公司成长，他们的观点也越来越受到关注，而 Dario 一直公开且不遗余力地推动这些观点。 Dario 也参与了地缘政治议题的讨论。他表示，美国应该限制向中国销售芯片，以削弱中国在 AI 领域的竞争能力。他呼吁对 AI 进行监管，防止这项技术失控。在与美国国防部的争议中，他还表示，AI 不应用于对美国人进行大规模监控，也不应被用于自主武器。 “他确实认为，我们面临着巨大的生存风险。”Nathan Avery 说。Avery 曾与 Dario 一起参加高中越野跑比赛，多年来两人有过许多深入交谈，尽管如今已渐渐疏远。“他觉得自己需要让自己处于一个能够对此采取行动的位置。” Dario 是一位亿万富翁，随着 Anthropic 公开上市，他的身家预计还将增长。他通过公司代表拒绝接受此次采访。 他的想法为他赢得了支持者，尤其是。