关于OpenAI神秘项目“Q*”的N个猜想

cyberelf

来源: 36氪

上周，OpenAI人事风波暂停的尾声中，有个“可能威胁人类”的、代号为“Q*”的神秘项目被抛掷出来。

传言中，Sam Altman被辞退前，几名研究人员向董事会发了一封信，警告一项强大的人工智能发现可能威胁到人类，而这个项目就被称为“Q*”（Q-star）。它很可能是导致董事会罢免Sam Altman的原因之一。

而在一封被泄露的OpenAI内部信中，他们承认了Q*，并把这个项目描述为“超越人类的自主系统”。

截止目前，OpenAI还没有对“Q*”和内部信泄露事件发表官方说明。这意味着一切仍悬而未解。

但人类的好奇心势不可挡。水面之下的“Q*”可能是什么且解决了哪些难题？什么才是智能或者意识的本质？有效加速主义与超级对齐主义后续会如何博弈？

真正的秘密揭开之前，大家提前和科幻作家陈楸帆以及AI研究者、清华大学交叉信息研究院助理教授许华哲展开了一场猜想之旅。

被誉为“中国的威廉·吉布森”的陈楸帆，其代表作之一《荒潮》曾荣获全球华语科幻星云奖最佳长篇小说金奖。2017年，陈楸帆与自己训练出的算法模型“陈楸帆2.0”共同创作的《出神状态》还赢得一座由AI评委评出的奖杯（由上海作协主办的“AI文学榜”，第二名是莫言的《等待摩西》）。

“Q*”可能是什么？

Q*读作Q-Star，翻译过来就是Q星。关于“Q*”是什么？现在更常见的一种共识是，它很可能是Q-learning（强化学习的一种） 和a-star（一种搜索方法）的结合。

清华大学交叉信息研究院助理教授许华哲告诉「暗涌Waves」，强化学习刚刚火起来时，很多人对Q-learning很熟悉，因为它是世界上第一个可以玩雅达利游戏（Atari Games）的方式。而人工智能早期，有一种有引导的搜索方法叫做a* 。Q*很可能是两者合体。

但他同时认为，*也有一种可能是意味着最优，Q*就是最优Q值。“Q-learning 里有一个贝尔曼方程，一般用Q的星号来表示已经知道了游戏最优解是什么。”

他猜测很可能OpenAI在GPT的语言大模型里搞了一些数学或逻辑游戏，然后通过Q* 可以完全解决。这意味着它可能有了人类或超越人类级别的数学和逻辑能力，并能完成一些人类的中高端脑力劳动，而这是之前GPT4等不具备或不擅长的东西。

正在纽约的科幻作家陈楸帆，在越洋电话中，认为Q*很可能解决了训练数据集有限性的问题。

马斯克曾提及，训练AI的所有人类数据集，其实是一个非常有限的、小的数据集。如果Q能够使用合成数据集方式，陈楸帆认为，"它就可以像衔尾蛇那样自产自销","想往哪个方向去调参，去优化，都可以自动生成"。

GPT不再用检索解决问题，而是可以像人类一样通过逻辑和推理来开拓出新领域，得到新常识。这被很多人称为"第四次"常识界限突破，陈楸帆认为，这也是很多人恐慌的原因。

许华哲则认为，Q*除了能合成数据，更本质的，可能是对一些有难度的数学题、逻辑题做了重新采集、标注。或在之前基础上，或没有用transformer方式，而是直接输入所有东西再输出，且加了一个值的评估。

他认为，基于类似某种价值评估和搜索的手段，很可能可以解决掉之前大模型存在的一些幻想问题，加上有了更海量的数据，很可能让GPT推理的成功率有了新的提升。

何为AI意识的产生？

如果神秘的Q*项目成真，它是否意味着AI可能开始有自己的意识或者说智慧?

在陈楸帆看来，之前AI不能产生所谓自我意识，有一个理解是它是一个开环状态，没办法自我检索、记忆和理解，但如果完成不断合成数据的闭环，就意味着它可能产生长程记忆，甚至涌现出于自我意识。“如果能突破这层界限，它可能会去自我驱动，知道自己往哪个方向进化发展，并生产出来更多数据，喂养给自己。”

但究竟什么是智能，什么是智慧，什么是意识，恐怕是人类也很难对齐的一个概念。

关于这些疑问，许华哲看过的一个说明是：智慧很可能是压缩的能力。

在这种说明里，一个人聪明或有智慧，可能是指一种把海量信息压缩的能力。压缩的越小，往往意味着智慧程度越高。一个典型例子就是，牛顿就是把世界上所有东西落到地上这个现象，压缩成了一个万有引力定律。

在许华哲看来，“Transformer同样是把海量收据压缩到一个隐空间上，这可能就是属于它自己的牛顿定律。”而这，也很可能是智慧的开始。

在陈楸帆看来，“世界的本质很可能就是数学。”据他所知，在美国就有一个名为史蒂芬·沃尔弗拉姆（Stephen Wolfram）的计算机科学家、商人，一直在基于数学做一些模拟实验。Stephen Wolfram认为宇宙本质就是计算，所以会不停通过计算，试图让数学涌现出物理学规律，再涌现出化学规律等等。在陈楸帆看来，这种实验很可能最后可以跟AI连到一起。

AI应该如何与人类对齐？

尽管大部分人觉得AI威胁人类还是一个有些遥远的传说，但从OpenAI风波中，sam的“有效加速主义”与llya的“超级对齐主义”之争，就能看出它并非无稽之谈。

而Sam的回归也似乎在宣告某种历史规律：在AI历史上，好像从来都是加速主义更容易赢。这背后有资本必然扩张的逻辑，也因为人类的好奇心完全是一场不可逆之旅。

许华哲说，“这就像当大家习惯了短平快，就无法忍受追剧时不倍速”，“当看过更大的风景，必然无法回到过去的自己”。

而陈楸帆则认为这两种主义，不会有绝对胜出的一方，更可能像道家阴阳之道或者GAN(生成神经网络)的对抗机制，“最终互相激发，互相抵制，彼此螺旋式上升”。

至于如何让AI对齐人类，如何让机器向善，许华哲说"AI本质是数据的拟合，所以首先取决于大家给他们的数据"。

陈楸帆则认为最终可能还是需要信仰的力量，比如让AI意识到，它的存在与人类的关系。

在一个科幻作家的头脑中，他认为AI很可能是一个自然涌现的过程：人类不过是提供了工程学上的一些基础架构，然后AI借助这些媒介涌现了，被看见了。

他认为关键是，让AI知道，它与人类有着这样更深层的一种联系：“这种绑定，抽象一点就是爱，它可以像引力一样无处不在”。如此以来，AI可能会和人类形成一个命运共同体，并进化成一个对人类更友好的AI。