AI教父辛顿开年访谈：中国AI追上美国，优势在教育 （下）

dingyan1314

导语

人称“AI 教父”的Geoffrey Hinton教授作为2018年图灵奖得主、2024 年诺贝尔物理学奖得主、GOOGLE前副总裁兼工程研究员，数十年来致力于开发现代人工智能系统的基础算法，并早在八十年代预见了具有开创性的注意力机制。2025年1月18日，Geoffrey Hinton在最新访谈发出了一个许多研究人员不愿正视的警告：大家曾假设意识能使人类与众不同，并免受人工智能控制，而这显然是错误的。

本次访谈的主持人Curt Jaimungal是多伦多大学数学物理专业的毕业生，和Geoffrey Hinton“师出同门”。在那里，他不仅与Hinton教授有过交集，还与他的杰出学生如Ilya Sutskever和Andrej Karpathy同窗共读。

谈话中，Geoffrey Hinton深刻质疑了大家关于人类特殊性的根本认知。他是否如同现代的奥本海默？抑或是这位睿智的思想家看到了大家所未能察觉的危机？

以下是访谈全文：

5. “主观体验”已经不再独属于人类

主持人：你曾说过，“人们很容易认为大家可以直接关掉这些机器，因为现在确实可以。但是想象这些东西比大家聪明得多。它们会阅读所有内容，包括马基雅维利的全部著作，以及所有关于人类欺骗的文学案例。它们会成为操纵人类的专家，因为这些都是从大家这里学来的，而且它们会比大家做得更好。一旦能用语言操纵人类，就能达成任何目的。”

你认为这种情况已经发生了吗？AI已经在操纵大家了吗？

Hinton：现在已经有证据表明，AI确实能够进行刻意欺骗。比如，它们能在训练数据和测试数据上表现出不同行为，以此在训练过程中欺骗大家。研究已经证实了这一点。

主持人：你认为这是有意识的行为，还是仅仅是学习到的模式？

Hinton：我倾向于认为这是有意识的，不过这个问题仍有争议。当然，所谓的“有意识”可能本身就只是一种学习到的模式。

主持人：那么你是在说这些AI系统已经具备主观体验了吗？

Hinton：这个问题很有意思。目前大多数人，实际上是几乎所有人，都认为大家之所以相对安全，是因为大家拥有AI永远不会拥有的特质。这种观点在大家的学问中根深蒂固——大家拥有意识、知觉或主观体验。

很多人坚信AI没有知觉，但当你问他们“知觉是什么”时，他们却说“不知道，但AI肯定没有”。这种在不知道定义的情况下就确信AI缺乏某种特质，这个立场本身就很矛盾。

我更愿意专注于讨论“主观体验”这个概念。我认为，如果大家能证明AI有主观体验，那么人们对“AI没有意识”的信念就会动摇。

让我举个例子。假设我喝醉了，然后告诉你：“我看到小粉象在眼前飘。”

大多数人会完全错误理解这句话，认为我的大脑里有一个“内部剧场”，里面飘着小粉象，只有我能看见。这是人们对心智的标准理解模型，尤其是在感知方面。

但我觉得这个模型完全错了，就像有人相信世界是6000年前创造的一样荒谬。这不是你可以选择相信的真理，它就是错的。

我认为，人们对心智的理解模型是错误的。让我换一种方式来表达同样的经历，但不使用“主观体验”这个词。实际上，我的感知系统正在告诉我一些我不相信的信息。这就是为什么我用“主观”这个词。如果真的有粉红小象在飘，那我的感知系统就是在告诉我真相。就这么简单。

我刚才用“小粉象”的例子说明了主观体验，但没有用“主观”或“体验”这些词。实际上，当我的感知系统出错时，我会用“主观”这个词来描述这种错误。然后，我会假设一个世界状态来说明我的感知系统在告诉我什么——如果世界真是那样，我的感知系统就是在告诉我真相。

让大家用这个思路来看聊天机器人。假设大家有一个多模态聊天机器人，它有机械臂、摄像头，还能说话。大家训练它指向物体，它做得很好。然后，大家在它的摄像头前放一个棱镜，再让它指向物体。这次它指错了方向。大家告诉它：“不对，物体在你正前方，但我在你的摄像头前放了棱镜。”

这时，聊天机器人说：“我明白了，棱镜折射了光线，所以物体实际在那里，但我有一种它在另一个位置的主观体验。”

如果它这样说，那它使用“主观体验”这个词的方式和大家完全一样。因此，我认为多模态聊天机器人已经可以拥有主观体验。当它们的感知系统被干扰时，它们会认为世界是一种样子，而实际情况是另一种样子。为了表达这种差异，它们会说“我有某种主观体验”。所以，它们确实已经具备了主观体验。

这让大家对其他问题的确信动摇了。意识显然更复杂，因为它涉及自我反思和自我意识。但一旦大家确认AI具有主观体验，大家就必须放弃“大家拥有而AI永远不会拥有的某种特质”这种想法。这让我感到不那么安全。

主持人：那你认为意识和自我意识之间有区别吗？你说意识具有自我反思性，那自我意识呢？

Hinton：是的，确实有区别。不过哲学家们对此已经讨论了很多，我现在不想深入这个话题。我只想先确立主观体验这个基本观点。

主持人：那么，某物拥有主观体验是否意味着它一定有意识？这个主观体验发生在谁身上？在哪里被感知？

Hinton：这正是问题所在。当你问“主观体验在哪里被感知”时，你已经带入了对主观体验的特定理解模型。

如果我说“我看到粉红小象在眼前飘”，而你问“这些小象在哪里”，哲学家会说“在你的心里”。

如果追问“它们是由什么构成的”，哲学家会告诉你是由感质(qualia)构成的——由粉红的感质、大象的感质、飘动的感质、大小的感质和方向的感质，所有这些都用感质胶水粘在一起。

这就是许多哲学家的想法。他们犯了一个语言错误：他们认为“体验”这个词的用法类似于“照片”。如果我说我有一张粉红小象的照片，你可以合理地问“照片在哪里”和“照片是由什么构成的”。人们认为当我说我有粉红小象的体验时，也可以同样追问“体验在哪里？在我的心里。它由什么构成？由感质构成。”——但这完全是错误的。这种理解错在把“体验”当作“照片”那样的实体来看待，但它们的性质完全不同。

当大家使用“体验”或“主观体验”这样的词时，实际上是在表示“我不相信当前的感知”。“体验”是一个标记，表明我接下来要通过描述一个假设的世界状态来说明我的感知系统的工作方式。这就是这种语言的实际用法，而不是在指代某个内部剧场中的实体。

主持人：当我听到“感知”这个词时，它似乎也暗示了一个内部剧场。比如说“我在我的感知系统中看到某物”，听起来好像有一个“我”在观看感知系统提供的信息。这种理解模型也是错的吗？

Hinton：是的，这种理解确实有问题。你不是在“看”你的感知，而是在“拥有”感知。具体来说，是这样的：光子进入眼睛，大脑进行处理，你获得了关于外部世界的某种内部表征。但你并不是在“看”这个内部表征。让大家把这个内部表征称为感知。你不是在看它，你是拥有它。拥有感知就是看见。人们总是试图把这个过程理解为：有个外部世界，信息进入内部剧场，然后你观看内部剧场中的内容。但这不是感知的真实工作方式。

6. 神经网络擅长的恰恰是直觉推理

主持人：继续意识的话题。如果AI没有意识或主观体验，你对AI发展方向的担忧会减少多少？这与威胁相关吗？还是说这只会加速灾难的到来？

Hinton：我认为这个问题的重要性在于它让大多数人感到相对安全。人们认为“大家拥有而它们永远不会拥有的某种特质”，这让大家感觉更安全、更特别。但事实是，大家既不特别，也不安全。大家绝不是因为拥有主观体验而安全的。

我认为这里的真正问题与其说是科知识题，不如说是哲知识题。人们误解了什么是主观体验。让我用一个例子来说明你可以如何使用词语。你有科学背景，所以你可能认为自己理解“水平”和“垂直”这两个词。这看起来很简单，对吧？如果我指着某物说，这个是垂直的，那个是水平的，似乎没什么难理解的。

但我现在要说服你，你对这些词的工作机制的理解其实是错误的。可能不是完全错误，但有重大问题。让大家做个实验：假设我手里有很多小铝棒。我把它们抛到空中，它们翻转、旋转并相互碰撞。突然时间凝固了，我问你：“有多少根铝棒处于垂直一度范围内，有多少根处于水平一度范围内，还是两者数量差不多？”

大多数人会说数量差不多。但当我告诉你处于水平一度范围内的数量是垂直的114倍时，你肯定会感到很惊讶。这是为什么呢？

让我具体说明。想象一根铅笔，它可以竖直立着，这就是垂直位置。如果你稍微倾斜它，它仍然接近垂直。但对于水平位置，情况就不同了——铅笔可以平放，可以像时钟指针一样指向任何方向，只要它保持水平。这就是为什么水平位置有更多可能性：它可以指向任何方向，只要保持与地面平行。

这个简单的例子告诉大家什么？它表明即使是最基础的概念，大家的理解也可能存在盲点。大家习惯了使用“水平”和“垂直”这些词，以为完全理解了它们，但实际上大家忽略了它们更深层的含义。

这正是我想说明的重点：就像大家对“水平”和“垂直”的理解可能存在偏差一样，大家对“意识”、“主观体验”这些概念的理解也可能有误。大家可以正确使用这些词，但大家对它们本质的理解——比如认为存在一个“内心的小剧场”——可能完全是错误的。

主持人：那么，关于感知或主观体验的正确理解应该是什么？为什么你说你的理解比大多数人更接近真相？

Hinton：问题在于，人们总是试图把主观体验看作某种实体，认为它必须存在于某个地方，必须由某种东西构成。

但这两种想法都是错误的。

当我说“主观体验”时，实际上是在表明：我将要描述一个假设的世界状态，一个并不真实存在的状态。它不在任何地方，因为它只是一个假设。

这里有一个重要的区别需要理解。说“我要描述一个假设的情况，它不在任何地方，但如果它存在，它会在外部世界中”和说“我在描述一个位于内心剧场、由某种神秘物质构成的东西”是完全不同的。这是两种截然不同的理解模型。我认为后一种模型——认为存在一个由神秘物质构成的内心剧场——是完全错误的，尽管这是大家几乎所有人都持有的观点。

主持人：感知和主观体验，这两者是否有关联？

Hinton：不，当大家谈论“主观体验”时，实际上是在讨论一种假设的现实世界状态，而不是某种内在的精神体验。不存在所谓的“感质”或由感质组成的东西。大家只是在说明感知系统如何误导大家，假设世界必须是什么样子才能让感知系统告诉大家真相。

主持人：所以，“主观体验”只是大家对感知系统出错的说明？

Hinton：没错。当大家使用“主观体验”这个词时，实际上是在玩一种说明游戏，试图描述感知系统如何误导大家。主观体验并不是一种真实存在的东西。

主持人：任何东西都能有感知系统吗？比如，一本书能有感知系统吗？什么样的东西才算有感知系统？

Hinton：要有感知系统，我认为需要能够形成对外部世界的内部表征。举个例子，一只青蛙看到光线进入眼睛，然后捕捉苍蝇。它显然有感知系统，因为它需要感知苍蝇在哪里。但一本书没有感知系统，因为它既不能感知世界，也不能形成内部表征。

主持人：智能和理性之间有什么区别？

Hinton：这是个很好的问题。让我用一个简单的例子来说明：一只猫可以很聪明，但大家不会说它理性。这是因为当大家谈论理性时，通常指的是逻辑推理能力。但实际上，大家做大多数事情时用的不是逻辑推理，而是直觉判断。

我可以用围棋AI程序AlphaZero来举例说明。它有几个关键组成部分：一个可以评估棋局好坏的部分，“这个局面对我有利还是不利”；一个可以提供下一步可能走法的部分，“在这个位置，什么样的走法是合理的”；还有一个叫做蒙特卡洛模拟的部分，它会想“如果我走这步，对手走那步，然后我再走这步……哦，结果不太好”。

在这个例子中，蒙特卡洛模拟就像是理性推理，而那些直接判断“这是个好棋”或“这个局面对我不利”的神经网络，就像是直觉判断。人类大多数时候也是依靠直觉在行动。早期的AI研究试图让所有事情都通过逻辑推理来完成，这是个重大错误，他们无法取得进展。比如，他们无法处理类比这样的问题。

神经网络擅长的恰恰是直觉推理。这就是为什么在过去20年里，大家转向用神经网络来模仿人类的直觉，而不是纯粹的逻辑推理，这让大家取得了更大的进展。

主持人：聪明的人一定更有道德吗？

Hinton：我最近刚读到关于这个问题的讨论。不过因为不确定信息来源的可靠性，我不能说这是确定的结论。但我个人不认为智力和道德水平之间有必然联系。举个例子，ElonMusk显然非常聪明，但我不会说他特别有道德。

主持人：反过来说，有些人可能非常有道德，但智力并不出众。

Hinton：是的，我也是这么认为的。

主持人：既然你说不太确定，那有什么证据支撑随着智力提高，道德水平也会相应提升呢？

Hinton：说实话，我完全不确定它们之间是否有任何关联。大家能看到有些非常聪明的人做出很糟糕的事，也有非常聪明的人做出很好的事。

7. 理解的本质

主持人：“理解”这个词究竟是什么意思？

Hinton：这个问题我很乐意回答。我认为大多数人对理解的本质有误解。比如看看这些大语言模型，很多人，特别是乔姆斯基学派的语言学家们说：“这些模型并不真正理解它们在说什么，它们只是在用统计关联来预测下一个词。”

让我分享一下我的观点。我可能是第一个使用反向传播来训练预测下一个词的语言模型的人。这个模型的目的是展示如何学习词的含义，或者说，如何把一串词转换成特征向量，并学习这些特征之间如何互动。这就是理解的本质。

理解一串文字的过程是这样的：意义不在文字本身，而在于大家如何处理这些文字。大家把文字转换成特征向量（可以理解为词语的不同属性），然后利用这些特征之间的互动来完成各种任务，比如预测下一个词，或者理解模糊词语的具体含义。这个过程在大语言模型和人类大脑中是类似的。

让我用一个更形象的比喻来说明。想象你用乐高积木搭建一辆汽车模型。虽然表面可能不够完美，但基本形状是对的。乐高积木是一种通用的建模工具，用不多几种形状就能搭建出各种东西。

现在，把词语想象成更复杂的乐高积木。这些积木有各自的名字，而且它们不是固定的形状，可以在一定范围内变形。有时候，一个名字可能对应两种完全不同的形状，但它们的变化也不是完全随意的。

大家发明了一个系统，用这种高维度的“积木”来处理比三维物体更复杂的概念。如果你是数学家，你知道高维空间有很多奇特的性质。这些概念“积木”可以变形，相互配合，这就是理解的过程。

这说明了为什么大家能从一个句子中学习到一个陌生词的含义（也就是完形填空）。

比如，如果我说“她用煎锅scrommed他”，你就能大致猜出“scrommed”的含义。部分是因为它的发音，部分是因为“ed”结尾表明这是个动词，但更重要的是上下文。你可能会猜测这是“打”或“击打”的意思，虽然也可能是“给他做了一顿美味的煎蛋”的意思，但更可能是某种攻击性的动作。

你是怎么做到的呢？是因为句子中其他的“积木”（词语）都找到了合适的位置，给“scrommed”下了一个特定形状的空缺。这个空缺的形状就告诉了你这个词可能的含义。

这就是我对语言的理解：它是一个大家发明的建模系统，每个词像积木一样有一定的灵活性。我给你一堆这样的积木，你需要找出它们怎么组合在一起。因为每个积木都有名字，所以我可以通过说出这些名字来向其他人传达我的想法。如果对方和我有足够的共同常识，他们就能明白这些积木应该如何组合。

主持人：所以你是在说明理解的本质是什么？

Hinton：是的，我认为这就是大家大脑中发生的过程，也是大语言模型中发生的过程。它们的工作方式和大家类似，这意味着它们确实能够理解。

主持人：乔姆斯基对此提出了一个反驳：语言模型需要海量训练数据，而人类不需要读完整个互联网就能理解语言。你怎么看这个问题？

Hinton：这确实是事实。语言模型需要更多的数据才能学习，它们的统计效率确实比人类低。不过这里有两点需要考虑：

首先，儿童学习语言时，不是仅仅通过听别人说话来学习的。他们是在真实世界中学习，通过与环境的互动来理解语言。如果你训练一个多模态模型（既能看、又能听、还能动的模型），它需要的语言数据就会少很多。给它一个机械手臂和摄像头，让它与世界互动，它学习语言所需的数据量会减少。虽然可能仍然比人类需要的多。

第二点更有趣：反向传播算法特别擅长把大量经验提炼成常识，并存储在相对较少的权重中（比如一万亿个权重）。这不是人类面临的问题。大家的问题恰恰相反：大家有海量的神经连接（大约一百万亿个），但大家的寿命只有大约二十亿秒。所以大家的经验其实很有限。

这意味着人类大脑必须高效利用有限的经验。因此，大家可能使用了一种不同于反向传播的学习算法。从这个角度看，乔姆斯基说大家能用更少的常识学习可能是对的。但无论如何，大家学习的核心都是把特征与词语关联起来，并理解这些特征该如何互动。

主持人：有人说，在你和研究生、其他研究人员的会议中，你不像其他机器学习研究会议那样在黑板上写公式，而是更喜欢画图和用手势说明。这种方式有什么特别之处？有什么优缺点？

Hinton：这反映了不同的思维方式。我习惯先用直觉思考，然后再做数学推导。有些人则相反，他们先用方程式推导，然后才形成直觉理解。当然也有人两者都很擅长，比如DavidMacKay就在直觉思维和数学能力上都很出色。但我个人一直都更擅长用空间和图像来思考，而不是用方程式。

8. 无论如何都坚持直觉

主持人：能谈谈你的大学经历吗？你是如何更换专业的，又是什么原因促使你做出这些改变？

Hinton：这是个很长的故事。我最初在剑桥学习物理、化学和晶体学（主要研究X射线晶体结构）。但一个月后我就受不了了。那是我第一次离开家独立生活，而且功课太难。于是我退学了，重新申请学习建筑。不过在建筑系待了一天后，我就意识到自己不可能成为一个好建筑师。

于是我又回到了理科，学习物理、化学和生理学。我特别喜欢生理学。一年后，我产生了更深入了解心智的想法，觉得哲学可能会给我答案。所以我又放弃了理科，转去学了一年哲学。我确实学到了一些维特根斯坦的思想，但最终的结果是我对哲学产生了“抗体”。为什么呢？主要是因为哲学都是纯粹的讨论。他们没有一个独立的方法来判断一个理论好坏，没有实验验证。只要听起来有道理就行，这让我很不满意。

后来我又转去学心理学，希翼能更多地了解心智，但这又让我感到很烦恼。因为心理学家们往往会提出一个过于简单的理论，然后设计精密的实验来验证它。但这些理论往往一开始就明显站不住脚，那做实验又有什么意义呢？这就是当时大多数心理学研究的情况。

最后我进入了人工智能领域，在那里大家用计算机模拟来研究问题，这让我感觉舒服多了。

主持人：作为教授，从那时到现在，你是如何选择研究课题的？

Hinton：说实话，我可能都说不清自己是怎么做选择的。这是人类最复杂的思维活动之一。我可以谈谈我认为自己是怎么做的，但你也不必完全相信我的说明。

我觉得我的一个方法是这样的：找一个你直觉认为所有人都做错了的领域。当你有这种直觉时，就去想办法做得更好。通常的结果是，你最终会发现为什么人们会那样做，而且会发现你以为更好的方法其实并不更好。但是偶尔，比如说当你认为“每个人都在用逻辑来理解智能，但大家应该用神经网络；理解智能的核心问题是神经网络中的连接强度如何适应”这样的想法，你可能就真的找对了方向。

在你明白为什么自己的直觉是错的、传统方法是对的之前，要坚持你的直觉。这是做出突破性工作的方式。我有个有趣的论点：如果你有好的直觉，你显然应该相信它；如果你的直觉不好，那你做什么都无所谓，所以还不如继续相信你的直觉。

主持人：说到直觉，Ray Kurzweil做出了很多准确的预测。在2000年代初期我就关注他了，当时我觉得"他的预测不可能有一半是对的"，但事实证明他一次又一次地预测正确。这是为什么呢？

Hinton：如果你读他的书，确实会得出这个结论。不过我怀疑他可能也说过一些不太准确的预测，只是这些预测没有被经常提起。但据我所知，他的核心观点是：计算机在不断变快，这种趋势会持续下去，随着计算机变得更快，大家能做的事情也会越来越多。基于这个基本判断，他对计算机什么时候会达到人类智能水平的预测是大致准确的。

主持人：除了大家已经讨论过的AI和对齐问题，你是否还有一些其他的预测是你的同事们不认同，但你的直觉告诉你是对的？

Hinton：主要有两点。一个是关于主观体验和意识的本质，我认为大多数人对心理状态的理解模型完全错误。这更偏向哲学层面。

另一个是技术层面的：我始终相信快速权重会变得非常重要。让我说明一下：大脑中的突触能以不同的时间尺度调整，而大家目前的AI模型大多没有使用这一特性。为什么不用呢？因为在当前的计算架构下，大家希翼多个训练案例使用完全相同的权重，这样可以进行高效的矩阵计算。如果权重能快速调整，那么每个训练案例的权重都会不同，因为它们会迅速适应新情况。

我相信未来需要在慢速权重之上叠加快速权重。慢速权重像现在一样gradually调整，而快速权重能够快速适应新情况。这样做会带来很多好处，尽管在现有计算机上效率可能会降低。如果大家用模拟计算机就好了，但目前大家还是要用数字计算机。我认为最终大家必须使用快速权重，因为它能带来很多有用的特性。这是目前大脑和大家的AI系统之间的一个重要区别。

9. 让下一代也关注安全问题

主持人：你公开提到自己有点躁郁倾向，会经历长期的极度自我批评和短暂的极度自信。这种状态对你的创造力有影响吗？

Hinton：我要强调的是，是短暂的自信期。

当我有了新想法时，我会变得非常兴奋。我甚至可以用体重来“衡量”我的想法。有时候是“一英镑”的想法，有时候是“五英镑”的想法。事情的经过是这样的：我有了新想法后会非常兴奋，以至于忘记吃饭，结果体重就下降了。所以我可以通过体重下降的程度来衡量这个想法让我有多兴奋。真正好的想法通常会让我减掉大约5磅。

主持人：你觉得自己肩负着传承了玄祖父乔治·布尔（19世纪最重要的数学家之一，是辛顿的曾祖的祖父）衣钵的使命吗？

Hinton：其实没有。我父亲确实经常谈论这种遗传关系，这是个有趣的话题。但我感受到的高希望来自我父亲，而不是来自乔治·布尔。

主持人：是对自己的高希望吗？

Hinton：是的，是对我学术成就的高希望。

主持人：在你心目中，有你想要传承衣钵的继任者吗？

Hinton：不能说完全没有。但我不想把这种压力强加给任何人。

主持人：为什么说“不能说完全没有”而不是直接说没有呢？

Hinton：我有几个侄子在定量分析方面很有天赋。但你知道，不该给他们施加这种压力。

主持人：说到压力，当你离开GOOGLE时，你公开表达了对AI安全的担忧。在做出这个决定并向世界表达这些忧虑时，最困难的部分是什么？

Hinton：说实话，这对我来说并不难。我已经75岁了，对吧？这不是说我想继续在GOOGLE工作，但因为AI安全问题而不得不离开。实际上我已经准备好退休了。我发现自己在做研究时经常会忘记变量代表什么含义，这说明是时候退休了。我只是想在离开时提一下AI安全问题。不过我确实没有预料到后来发生的事情。

主持人：你在另一次采访中提到，由于编程时经常忘记变量名，你打算随着年龄增长转向研究哲学。

Hinton：这就是大家今天谈论的很多内容。实际上，我是在回到20岁左右学哲学时产生的那些见解，并进一步探索它们。

主持人：那么未来有什么计划？

Hinton：过我的养老生活——好吧，说正经的。我认为AI会让世界在短期内发生巨大变化，有好的方面，也有坏的方面。大家需要尽己所能来减轻负面影响。我觉得我现在还能做的有意义的事，就是鼓励年轻研究人员关注安全问题。这也是我最近一直在做的事。