|
导语
人称“AI 教父”的Geoffrey Hinton教授作为2018年图灵奖得主、2024 年诺贝尔物理学奖得主、GOOGLE前副总裁兼工程研究员，数十年来致力于开发现代人工智能系统的基础算法，并早在八十年代预见了具有开创性的注意力机制。2025年1月18日，Geoffrey Hinton在最新访谈发出了一个许多研究人员不愿正视的警告：大家曾假设意识能使人类与众不同，并免受人工智能控制，而这显然是错误的。
本次访谈的主持人Curt Jaimungal是多伦多大学数学物理专业的毕业生，和Geoffrey Hinton“师出同门”。在那里，他不仅与Hinton教授有过交集，还与他的杰出学生如Ilya Sutskever和Andrej Karpathy同窗共读。
谈话中，Geoffrey Hinton深刻质疑了大家关于人类特殊性的根本认知。他是否如同现代的奥本海默？抑或是这位睿智的思想家看到了大家所未能察觉的危机？
以下是访谈全文：
1. AI具身化也会改变人类对它的认知
主持人：曾经有心理学家或神经学家认为脑桥与意识相关，最近的研究又把自我意识与默认模式网络联系起来。那么，AI系统中是否有某个部分负责自我意识？它在哪里？
Hinton：我认为需要有某种硬件来运行它，那个运行着系统的整体才可能具有意识。如果某物要有意识，我认为App本身必须在某种硬件上运行才行。
思考这个问题的好方法是考虑AI系统具身化后会是什么样子。这种情况很快就会到来，因为人们正在开发战斗机器人，虽然这不是什么好事。但假设一个战斗机器人已经推算出你晚上会独自出现在某个黑暗的小巷里，它决定趁你最不防备时从背后偷袭你。在讨论这种情况时，谈论战斗机器人“相信”什么是完全合理的。
大家谈论战斗机器人的信念，就像谈论人类的信念一样。机器人可能会认为“如果发出声音，目标就会转身发现我”。它的这种“认为”与人类的思考方式非常相似。它可能有“意图”——比如意图偷袭你。
所以我认为，一旦这些AI系统实现具身化，大家对使用“相信”、“意图”和“思考”这些词的抗拒就会消失。
实际上，这种转变已经在发生。比如当我与聊天机器人交谈时，如果它开始推荐一些不相关的内容，我过一会儿可能会想：“啊，这个聊天机器人一定以为我是个青少年女孩，所以才会给我推荐这些化妆品、服装和男孩乐队之类的内容。”
如果我问聊天机器人：“你认为我是什么样的用户？”
然后它回答说：“我认为你是个青少年女孩。”当它这样说时，大家完全不会怀疑这就是它的真实想法。
在日常用语中，大家会直接说“这个AI好搞笑，它认为我是个青少年女孩”，而不会说“这个AI只是一堆App或神经网络，它表现得好像认为我是个青少年女孩”。
这证明大家在与AI系统交互时，已经在用“认为”和“相信”这样的词来描述它们，尽管它们没有明显的硬件载体。大家已经在把心理状态归因于AI，但大家对心理状态的理解是错误的。大家总以为心智是一个“内部剧场”，但这并不是心理状态的真正本质。
主持人：像你的诺贝尔奖得主同事Roger Penrose，他对这个问题是怎么看的？
Hinton：让我给你讲个有趣的故事。很久以前，Penrose受邀到多伦多大学演讲他的新书《皇帝的新思想》。院长打电话问我是否愿意做先容人。我说“当然可以”，她很感激。
然后我说：“等等，在你答应之前，你得知道我要说什么。”
她问我打算说什么，我回答：“我会说‘Roger Penrose是位杰出的数学物理学家，为物理学做出了巨大贡献，但他今天要讲的内容完全是垃圾’。”
这就是我对Penrose关于意识观点的评价。具体来说，他犯了一个根本性的错误——让我想想怎么表达比较恰当，因为这肯定会引起争议。问题是这样的：数学家能否凭直觉知道那些无法被证明的真理？如果数学家的直觉总是正确的，那确实会很令人担忧。如果他们每次都能准确无误，那就意味着某种神奇的事情在发生。
但现实并非如此。数学家也有直觉，有时对有时错。这本身就说明了问题：大家不需要用量子力学来说明数学家的思维方式。实际上，我认为根本不需要用量子力学来说明意识这样的现象。看看AI的发展就知道了，大家已经制造出了聊天机器人，正如我前面提到的，只要给它们配上摄像头，它们就能有主观体验。人类的任何特质都不需要用量子力学来说明。
主持人：Penrose的论点是否建立在数学家必须100%正确直觉的基础上？
Hinton：确实，如果数学家只是在做猜测，那没什么问题。但如果他们真的有某种方法，能始终正确地回答那些系统内无法证明的问题，那就值得担忧了。但事实是，他们做不到，他们会犯错。
主持人：能否概述一下Penrose的具体论点？
Hinton：我不想详细讲，但据我理解，他的论点包含两个方面。
第一，他认为经典计算无法说明意识。我觉得这是个重大错误，源于他对意识本质的误解。
第二，他认为数学家能直觉到那些无法证明的真理，这表明有某种特殊的事情在发生。但除非数学家的直觉每次都准确无误，否则这个论点站不住脚。
主持人：我相信你听说过中文房间实验？
Hinton：是的，这个名词让我想起1990年的一件事。我当时受邀与John Searle一起参加电视节目。我先打电话问我的朋友Dan Dennett：“我该去吗？”
他说：“你知道，他会想让你出丑。如果你要去，千万别谈中文房间论点。”
结果我去了，在一小时的访谈中，John Searle开场就说：“Hinton是连接主义者，所以他当然对中文房间论点没意见。”
这完全违背了大家的约定，而且说的也不对。实际上，我对中文房间论点有很多异议。我认为这是个有意误导人的论点，是个不诚实的论点。
让我说明下中文房间论点：假设大家建立一个由讲中文的人组成的系统，他们互相用中文传递信息。你向这个系统输入一个英文句子，系统内的人会用中文相互传递信息，最终能给出回答，尽管其中没有一个人懂英语，他们只是在实行程序。
这个论点的问题在于故意混淆了两个层面：整体系统和个体。整个系统确实理解英语，尽管内部的个人不懂。Searle想让人们相信，因为里面的人不懂英语，所以整个系统也不可能理解英语。这种推理是错误的。系统作为一个整体是能够理解英语的。
2. 中国AI的优势，开源AI的危险？
主持人：说到中文——正好聊聊中国，很多AI研究人员都没预料到中国会在AI领域追赶上西方。你怎么看这个现象和它的影响？
Hinton：我认为中国还没有完全追上，但已经非常接近了。
（*注：本次访谈时间发生于2025年1月18日，deepseek R1尚未发布）
美国试图通过限制最新英伟达芯片的供应来减缓中国的发展速度。英伟达可能会找到变通办法。即使禁运奏效，也只会促使中国开发自己的技术。
他们可能会落后几年，但终究会赶上来。因为中国的STEM教育比美国做得好，他们有更多受过良好教育的人才。
主持人：你了解Marc Andreessen（硅谷知名投资人，网景之父）吗？他认为——
Hinton：哦，是的，我大概在所有事情上都和他持相反意见。
主持人：好，大家来谈一个具体问题。他说：“我不理解你们怎么能封锁AI发展。”这是他对政府官员说的，因为官员们声称如果AI发展失控，大家可以封锁它。
他当时质疑道：“这怎么可能？AI的数学原理已经公开，全网都开源了。”
对此，官员们回应说：“在冷战时期，大家就曾经对整个物理学领域进行过分类管制，使其从研究界消失。如果必要的话，大家也可以对AI底层数学采取同样的措施。”
Hinton：得了吧——那在这点上我确实同意Andreessen的看法，因为封锁AI发展根本不现实。比如说，GOOGLE在2017年本可以选择不公布Transformer，可能会让其他人晚几年才想到类似的东西。但也就能拖延几年而已。要完全阻止信息传播几乎是不可能的。
主持人：你不认为政府可以像管制物理学那样管制一些基础数学，比如线性代数？
Hinton：不可能。他们最多能让某些信息更难获取，稍微减缓发展速度。但想通过封锁信息来阻止他们发展AI是不现实的。新想法的产生有其特定的时代背景。经常会发生这样的情况：当一个人提出新想法时，差不多同一时期，其他人也会独立想到类似的东西，因为他们共享着同样的时代精神。除非你能改变整个时代精神，否则就无法阻止新想法的产生。即使保密，几年后其他人也会想到同样的东西。
主持人：那么AI的去中心化呢？这是个热门话题。有人说："这就像把原子弹交给任何想要的人。"
Hinton：没错，我也是这么说的。
主持人：但也有人说，这是防止“天网”场景的必要防护，大家需要多个去中心化的AI系统相互制衡。
Hinton：等等，大家得先理清“去中心化”的两个不同含义。让大家谈谈权重共享这个问题。想想看，为什么阿拉巴马州不能拥有核弹？因为制造核弹需要裂变材料，而获取裂变材料极其困难，需要大量时间和能源。有了裂变材料后，制造核弹反而是相对容易的。这就是为什么政府严格控制裂变材料，你不可能在eBay上买到。这也说明了为什么小国家没有核弹。
同样的道理适用于大语言模型。一个训练好的基础模型可能耗资1亿到10亿美金，在海量数据上训练后获得强大的能力。如果你公开发布这个模型的权重，任何人都可以对其进行微调，用于各种危险的目的。这就是为什么我认为公开发布这些大模型的权重是一个疯狂的决定，因为这些权重本应该是大家控制恶意使用的重要手段。但现在Meta已经这么做了，其他企业也纷纷效仿。现在说这个为时已晚，猫已经跳出了袋子。但这确实是个危险的决定。
3. 贫富差距还是会加剧
主持人：说到基础模型，最近人工智能的繁荣很大程度上归功于Transformer架构。你觉得未来还会有其他重大突破吗？无论是新的范式还是其他架构？
Hinton：我认为会有其他同等规模的突破，因为科学就是这样发展的。但我不知道具体会是什么。如果我知道，我早就去做了。
主持人：你会去做吗？
Hinton：我现在年纪太大了，可能会让学生去做。
主持人：我想问的是，你如何平衡自己过去在人工智能领域的贡献和现在的担忧？你会继续为这个领域做贡献吗？
Hinton：问题在于，人工智能对很多事情都非常有用，比如改善医疗、应对气候变化、开发更好的材料，甚至可能帮助发现室温超导体。这些都是对人类有益的事情。我认为人工智能的发展不会停止，因为竞争太激烈了，而且减缓发展既不现实也不明智。大家能做的，是在它发展的同时，努力确保它的安全性。
主持人：所以，你觉得人工智能的发展像一块无法阻挡的巨石，而你也在推动这块巨石。如果你看到一个重大突破即将到来，你会全身心投入其中吗？
Hinton：只要这与确保安全性相结合，我会的。我悔恨没有更早意识到它的危险性，但我不悔恨我所做的工作。人工智能的发展是不可避免的，因为国家和企业之间的竞争太激烈了。大家应该把精力集中在如何安全地发展它上，而不是试图减缓它的发展。
主持人：爱因斯坦曾说过，如果他早知道原子弹的后果，他宁愿烧掉自己的手。你有类似的感觉吗？
Hinton：其实我没有。
也许我应该有这种感觉，但我并不悔恨我所做的事情。我确实对它可能导致一些坏事而感到悔恨，但我从来不会回头想：“哦，我真希翼自己从未做过那些研究。”
我认为AI的发展是不可避免的，因为国家和企业之间的竞争太激烈了，大家别无选择。所以，大家应该把精力集中在如何安全地发展AI上，而不是试图减缓它的发展。这两者是非常不同的。
主持人：除了对齐问题，人工智能的安全发展还意味着什么？
Hinton：大家需要应对一些短期风险。比如致命自主武器，这需要类似《日内瓦公约》的协议，但通常只有在糟糕的事情发生后，人们才会采取行动。还有伪造视频和图像干扰选举的问题，特别是针对特定个人的情况。大家需要建立一个更好的系统来验证视频和图像的来源。
最初我认为应该标记伪造内容，但现在我觉得更重要的是确保来源的可信度，就像电子邮件系统会提示“不要轻信，来源无法确认”一样。关于歧视和偏见，大家可以通过冻结系统的权重并测量其偏见来稍微纠正它。虽然无法完全消除偏见，但可以让系统比训练数据更少偏见。通过不断迭代，偏见会逐渐减少。
至于工作问题，人工智能会取代许多平凡的脑力劳动，这可能会加剧贫富差距。富人会更富，穷人会更穷。全民基本收入可能有助于解决温饱问题，但无法解决尊严问题。
4. 人类注定沦为配角
主持人：你是在什么时候意识到人工智能的发展速度已经超出了大家的控制能力？
Hinton：大约在2023年初，这源于两个关键发现。首先是ChatGPT的惊人表现。其次是我在GOOGLE研究模拟计算节能方案时，发现数字计算具有显著优势：它能创建同一模型的多个副本，每个副本可以获得不同经验，并通过平均权重或权重梯度来共享学习成果。这在模拟系统中是无法实现的。
主持人：人类大脑作为模拟系统，它有什么优势吗？
Hinton：最大的优势在于能耗和连接规模。人脑只需要30瓦就能运行，而且拥有约100万亿个连接。相比之下，最大的AI模型也只有1万亿个连接。也就是说，大家的大脑仍然比最大的模型大近100倍，却只需要30瓦的功率。
主持人：那么规模扩大会带来什么问题？就像有益的东西可以快速传播，有害的东西是不是也会迅速复制？
Hinton：这涉及到效率问题。如果你有多个模型副本，它们可以高效地共享经验。比如说，GPT-4掌握如此丰富的常识，正是因为它可以在不同硬件上运行多个副本。通过平均权重梯度，每个副本学到的常识都能被共享。这样就不需要单个副本去处理整个互联网的内容，而是可以在多个副本间分配任务。但人类做不到这一点，因为大家无法高效地共享常识。
主持人：我收集了一个来自Scott Aaronson（OpenAI量子计算大神，此前大家也整理过他的采访）的问题：“Hinton博士，我想听您谈谈，关于在不可克隆的模拟硬件上构建AI的想法，这样它们就无法在互联网上自我复制。”
Hinton：这正是人类大脑的运作方式。当我想把常识从我的大脑传递到你的大脑时，我需要通过语言这个媒介。你的大脑会根据我的话语调整神经连接，直到你能表达相同的意思。
这是一种效率很低的常识传递方式，一个句子只能传递大约100比特的信息。而大型AI模型可以传递数万亿比特。这种模拟系统的局限在于无法直接共享常识。但从安全角度看，这种局限反而成了优势，因为它限制了自我复制的能力。
主持人：你提到对AI接管或主导人类的担忧，这具体意味着什么？
Hinton：虽然大家无法准确预测具体情况，但问题在于AI智能体需要具备设定子目标的能力。一个令人担忧的发展路径是：它们很快就会意识到获取更多控制权是实现任何目标的有效途径。
即使它们只是试图完成大家交代的任务，也会发现获得更多控制权是最佳选择。一旦它们认识到控制权的重要性，一旦它们超越人类智能，大家就会变得无足轻重。即使它们怀有善意，大家也会沦为配角。就像一个大企业里的傀儡CEO，实际运营完全掌握在他人手中。
| 
20
发表于 2025-2-6 12:02:01