OpenAI六年元老再发文：全球AI狂飙，大家应该拉手刹还是踩油门？

see122

【导读】前段时间离职后留下公开辞职博客的OpenAI六年元老Miles Brundage最近再发一文，讨论了一个相当热门但棘手的问题：当今的AI发展速度，应该加速、减速还是维持现状？

10月末，OpenAI在政策研究领域方面的6年元老Miles Brundage离职，顺便发表了一篇博文，说明自己离职的原因，并直言——大家远远没有为AGI做好准备。

10天后，似乎是觉得这篇文章意犹未尽，Brundage再次发文，题为「AI发展是应该加速、放缓，还是保持不变？」

虽然标题是问句，导读的一句话也充满了不可知论色彩，但文章的结论非常明确——谨慎起见，大家应该为全社会的AI发展安装一个「刹车」。

负责托管维基百科的Chris Albon转发了这篇博客并大力赞赏，将Miles Brundage的内容产出与致力于教育领域创业的Andrej Karpathy相提并论。

现在再加上刚离职的Lilian Weng，不得不说，OpenAI的「离职潮」丰富了高质量AI博客的创作和产出。

Miles Brundage本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任AI政策研究员。

2018年，Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家，之后又在2021年升任研究主管，目前是AGI准备工作的高级顾问。

当今的AI发展

人工智能应该更快、更慢还是保持不变？在回答这个问题之前，大家先简要回顾一下目前的人工智能进步有多快。

2021年出版的一本书——《人工智能简史》（A Brief History of Artificial Intelligence），其中的观点在短短3年后的今天就已经过时了。

比如书中提到，「理解一个故事并回答有关问题」以及「说明照片中发生的事情」，这些任务并没有完全被AI解决；但从GPT、Claude、o1等模型中可以看到，这些方面已经有了很大的进步，甚至很可能超过了人类表现。

举出这些例子并不是为了特意挑刺或抬杠，而是大家要明白一点——严肃的专家经常在人工智能领域犯下严重错误。

虽然某些情况下，人们确实对人工智能的进展过于乐观，但总体而言，近十年来，坚持唱深度学习的反调确实不是一个成功的策略。

计算机已解决和待解决的问题总览，按任务难度排序

另外还有下面这张著名的图表，告诉大家AI的发展如何让各种评估基准越来越快地饱和。

在物理、化学和编码等领域的测试问题上，AI开始超越专家表现，例如基本全新的GPQA问答基准（谷歌-Proof Question Answering），去年11月刚刚发布，现在却正在被碾压。

在解决GOOGLE搜索都无法完成的，孤立的、研究生级别的任务上，AI可以比大多数专家做得更好，即使专家有半个小时的时间来解决问题。

在有挑战性的推理基准上，o1超过GPT-4o

这种最新的进展的驱动力是AI系统向新范式的过渡，即所谓的「思维链」（chain of thought，CoT），在给出答案之前先思考问题。

GPQA基准仅仅是一个孤立的短期任务，AI系统在需要花费数小时/数天/数周/数年的「长期」任务上还无法超越专家，但科技企业正在积极推动这一点，并极有可能在10年内实现。

这些进步开始与机器人技术相结合，真正智能的AI系统无疑将加速机器人技术的发展。

棘手的问题——AI发展的理想配速

尽管在我看来，对AI进步速度的争议会随着时间的推移而减少，但这个问题目前仍然非常模糊，因为能在不同的规模和层面上控制它，比如单个企业、一个国家或一组国家，或全球范围，也区分不同类型。

例如去年发表的一篇文章中，就做出了如下区分：

人工智能的快速发展可区分为横轴和纵轴：纵轴指的是开发更大更强的模型，这伴随着许多未知因素和潜在的人类生存风险；相比之下，横轴强调将当前模型融入经济的各个角落，并且风险相对较低，回报较高。

本文下面的内容主要关注全球范围内AI在纵轴上的扩展/进步，也就是大多数人所理解的AI进步的意思；而且最终大家关心的是全球成果，因此无论人工智能发生在哪里，都应该考虑它的进展。

有些人可能认为这是一个棘手的问题，原因之一是他们认为这是对技术看法的「试金石」，而技术本身就已经是一个很大的争议了。

但事实并非如此。实际上，有很多人总体上支撑技术发展，但对人工智能感到担忧。

比如，在这份旨在重视AI风险的倡议书上，不乏各种大力推动技术发展的大佬，比如比尔·盖茨、前OpenAI首席科学家Ilya Sutskever、DeepMind联创兼CEO Demis Hassabis、Anthropic联创兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。

原文链接：https://www.safe.ai/work/statement-on-ai-risk

在本文编辑Miles Brundage看来，AI发展的配速之所以成为一个难题，其真正原因在于，即使大家的出发点是一个共同的合理道德前提，例如「不要杀死所有人」和「更多的人 vs. 更少的人应该从技术中受益」，一系列相关的经验问题仍然很难解决。

AI总体发展的理想配速可能取决于以下问题的答案，而每个问题实际上都可以成为一个单独的领域：

让功能强大的AI系统变得安全是超级容易、容易、困难还是超级困难？

中国在人工智能方面是否有可能超越美国？这是否会因改变人工智能进步而采取的不同步骤而有所不同？

人工智能的快速进步是会有助于还是损害大家应对其他重大社会挑战/风险的努力（例如气候变化）？

类似的问题还有很多。这些问题本身就很难回答，而要将它们整合到一个整体框架中，以得出关于AI理想进展速度的有用结论就更加困难。

大家是否需要刹车

需要澄清的是，本文所指的「刹车」并非用「一刀切」的方式完全停止AI技术的发展。而是基于事实和对上述问题的回答，通过详细定义、分析的技术和政策选项来减缓人工智能的进步。

在Brundage看来，大家应当安装（经过设计和辩论的）「刹车」，因为当前AI的进步明显快于社会能够有效理解和塑造的速度，而且这种情况可能不会很快改变——甚至，二者之间差距可能逐渐扩大。

理想情况下，政策制定者能够掌控一切，但大家不知道最坏的情况是否会发生，所以要为各种情况做好准备。

值得一提的是，去年Brundage曾写过一篇文章，详细分析了他所见的AI进步和社会准备度之间的差距。

原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai

目前来看，上述定义的「刹车」仍不存在，一部分证据是，大家看到了「科技企业单方面暂停AI开发」这种不切实际的提议。

这类政策不会发生也不会起作用，至少在未来很长一段时间内是这样，因为负责任的AI开发是一个集体行动问题。Brundage仍在OpenAI任职时，他和团队在2019年发表的论文就详细说明了这一点。

原文链接：https://arxiv.org/pdf/1907.04534

大部分人都会担心AI的发展。人们看到问题的存在，之后就会四处寻找答案，并提出一些非常简单的解决方案，但政策制定是困难的，需要远见、辩论和认真的研究。

OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构在今年2月联合发表了一篇论文，讨论安装「刹车」的一种可能性——「算力储备」（compute reserve）。

原文链接：https://arxiv.org/pdf/2402.08797

这类似于设置一个有黄金储备的中央银行，对市场经济的发展进行宏观调控；「算力储备」也是如此，调节AI发展的步伐节奏。

尽管已经有了一篇104页的论文打底，但「算力储备」的方案仍存在很多问题和模糊之处。这不一定是正确的解决方案，但大家确实应该对此和相关想法进行更多讨论，还有人工智能税等等更多场景。

如果需要设计一个刹车的话，大家要不要同步配套一个「油门」？

Brundage认为，这也是必要的，但目前大家看到的是，已经有各种小型的「油门踏板」被踩得很紧。

例如，CHIPS法案将更多资金投入美国半导体制造；初创企业、风投和大型科技企业不断尝试在横轴和纵轴上扩大AI规模；教育机构不断培养研究人员和工程师；消费者们「用钱包投票」，通过为科技企业提供收入来间接支撑AI更快地进步。

考虑到减速方面的协调困难，单方面加速比单方面减速更容易。因此，从分配政策研究注意力的角度来看，关注困难的问题更有意义，也就是如何放缓AI的发展。

结论和后续步骤

总而言之，这篇博文着重论证了两点：

1. 对于标题中的这个问题（AI发展应该加速、放缓，还是保持不变？），仍没有人能给出合理且明智的答案

2. 尽管如此，谨慎地安装「刹车」是明智的做法，从而为可能发生的情况做好准备

Brundage表示，目前缺乏「刹车」的情况让他非常担忧，而且在他职业生涯下一阶段关注的主题中，「进展速度」这个问题相当重要。

尽管他表示，「AI监管措施」与「国家竞争力」之间并不存在大多数人所认为的那种联系，但他发表过的一篇推文直言：「与过度监管相比，缺乏监管，特别是与安全+出口管制相关的监管，更有可能导致美国失去AI领域的领先地位」

参考资料：

https://x.com/chrisalbon/status/1852799633380237453

https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow


来源：36kr