OpenAI 首席科学家 Jakub Pachocki 谈 AI 现状、未来隐忧，以及如何把未来留在人类手中

BiRun 消息，作者：Jakub Pachocki 编译：深潮 TechFlow 深潮导读： OpenAI 首席科学家罕见发声，直言 AI 正在逼近递归自我改进，对齐与监控工具已经跟不上系统进化的速度。他没有给出安抚性的结论，而是把未来几年最棘手的风险摆到台面上：人类可能正在创造一种自己无法完全理解、也无法完全控制的心智。对于关注 AI 与加密交汇点的从业者来说，这是一篇关于系统失控与防御边界的必读文章。 我们无法完全理解的心智从更高层面看，机器智能的进步由算力的增长驱动。大约在 2017 年，我们 OpenAI 内部就深刻意识到了这一点。当时我们看到多个研究项目在扩展规模后都获得了持续回报。于是，我们开始寻求获取比原计划多得多的算力，并越来越多地把研究集中在少数几个极具可扩展性的方向上。我们相信，这是让我们站在 AI 研究前沿、并影响 AGI 影响的唯一方式。 沿途出现了新的算法，也有团队和个别研究人员展现出的新巧思。我大体上把这些看作是扩展路径上的发现。深度学习这门科学仍处于早期阶段，有意义的算法进步往往与能否获得算力密切相关。如果你把视角拉长到几年，AI 正随着在更大计算机上的扩展而持续变得更聪明。 而且，正如 Ray Kurzweil 在二十世纪末所做的预测那样，我们现在正处于计算历史上的这样一个时刻：机器智能开始在变革性层面超越人类。 AI 更像是被“生长”出来的，而不是被设计出来的。从第一性上说，它是把同一个简单的优化步骤，在难以想象的算力上重复无数次之后得到的产物。这造就了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的某些侧面。我们可以发现这个系统内部涌现出的各种小机制的洞见，这个过程类似于神经科学。而和神经科学一样，它的整体行为也超出了我们能够完全理解的范围。 对基于深度学习的 AI 的研究，在很大程度上是一门实验科学。我们投入了大量精力去构建有原则的算法，并做出可检验的预测。但从根本上说，我们的大规模训练运行就是实验，有时结果会让我们感到意外。而且，随着系统能力越来越强，结果也变得越来越难以解释。 更复杂的是，当前的算法通常会让那些容易衡量的能力，比难以客观量化的能力进步得更快。我们花了很多时间试图理解能力如何泛化，以及应该优先推进哪些技能，因为这些技能会在未来几年变得最重要。例如，我们相信，如果额外投入精力，我们可以让模型在数学研究方面变得更强。但我们没有优先选择这个方向，因为我们更紧迫地关注递归自我改进和自动化对齐研究。这一点我在后面会再谈。 通过扩展深度学习得到的智能，并不能直接与人类智能相提并论。要在这个现实世界中产生重大影响，无论是非常有用，还是非常危险，AI 并不需要匹敌或超越人类的所有能力。它只需要在足够多的能力上超过人类就行。而当它在越来越多的维度上持续超过人类时，我们反而越来越难以确切地知道它到底有多强。 教机器去爱由于机器智能来自与人类智能根本不同的过程，我们不能假设它默认会遵循人类的原则，也不能假设它会以类似人类的方式从这些原则进行泛化。AI 研究的核心问题是对齐问题：让 AI“努力按照人类的标准去做正确的事”。 为了方便组织实际的研究方向，我觉得把目标对齐和价值对齐区分开来是有用的。 目标对齐大致是：“AI 是否努力完成摆在它面前的目标？”它可以包括遵守指令层级、与人类沟通协作的能力、尝试理解人类目标的能力等。这一类方向在实践中极其重要。 价值对齐则是模型更内在的属性。它是一种持有高层次原则并从中进行泛化的能力；即使面对不清晰或相互冲突的目标，或者被置于陌生、对抗性的情境中，它也能“合理”地行动。一个对齐。