媒体再爆：OpenAI的GPT-5训练遇阻，时间延迟且成本高昂，数据短缺

see122

AI的下一个飞跃似乎没法准时报道了。

当地时间20日，据《华尔街日报》报道，OpenAI的新一代人工智能项目GPT-5（代号Orion）正面临重重困难。该项目已开发超过18个月，成本花费巨大，却仍未取得预期成果。

有知情人士透露称，OpenAI的最大“金主”MicroSoft原本预计能在2024年中期左右看到新模型。而OpenAI曾进行过至少两次大规模训练，每次都耗时数月并消耗海量数据，但每次都出现新问题，App无法达到研究人员所希望的结果。

分析认为，世界上可能没有足够的数据让它变得足够聪明。

巨额成本令人咋舌，GPT-5项目进展不顺

分析师此前预测，科技巨头们可能会在未来几年在人工智能项目上投入1万亿美金。还有估算显示，GPT-5一次为期6个月的训练仅计算成本就高达约5亿美金。OpenAI首席实行官Sam Altman则表示，未来的AI模型成本预计将超过10亿美金。

但了解该项目的人士表示：

“虽然Orion的表现较OpenAI目前的产品有所提升，但还不足以证明其巨额运营成本的合理性。”

今年10月，投资者给予OpenAI的1570亿美金估值很大程度上是基于Altman的预测，他此前称，GPT-5将是一次“重大飞跃”，他还曾说GPT-4表现得像一个聪明的高中生，但最终的GPT-5实际上在某些任务上更像拥有博士学位。

报道称，GPT-5应该能够解锁新的科学发现，并完成诸如预约或航班等日常人类任务。研究人员希翼它犯的错误会比现有的AI少，或者至少承认“怀疑”，因为目前的模型可能会产生幻觉。

不过，对于“何时能成为足够聪明的AI”还没有固定的标准，更多的是凭感觉。

而到目前为止，正在开发中的GPT-5给人的感觉还是不够强。Altman在11月表示，“2024年内不会发布任何名为GPT-5的产品”。

数据短缺成为主要瓶颈

为了不使巨额投资“打水漂”，研究人员试图通过小规模试运行来最大限度地降低这种失败的几率。

但是，GPT-5的计划似乎从一开始就存在问题。2023年年中，OpenAI开始了一次训练运行，同时也是对Orion拟议的新设计的测试。但这个过程进展缓慢，这表明更大规模的训练可能需要非常长的时间，而这反过来又会使成本变得异常高昂。

OpenAI的研究人员决定进行一些技术调整来增强Orion，他们还发现，要让Orion变得更智能，就需要更多高质量、多样化的数据。模型的测试是一个持续的过程，大规模的训练运行可能需要几个月的时间，数万亿个token会被“投喂”给模型。

然而，公共互联网上的资讯文章、社交媒体帖子、科学论文等数据已不足以满足需求。DatologyAI首席实行官Ari Morcos说：

“这变得非常昂贵，而且很难找到更多同等高质量的数据。”

为解决这一问题，OpenAI选择从头开始创建数据。他们雇佣App工程师和数学家等专业人士编写新代码或解决数知识题，以此作为训练数据。

企业还与理论物理学等领域的专家合作，说明他们将如何处理该领域最棘手的问题，但这个过程非常缓慢，GPT-4的训练使用了大约13万亿个token。即便有1000人每天写5000字，数月之内也只能产生10亿个token。

OpenAI也开始开发“合成数据”，利用AI生成的数据来训练Orion，并认为可以通过使用其另一个AI模型o1生成的数据来避免故障。

GOOGLE迎头赶上，OpenAI慌不择路？

今年，随着GOOGLE推出了最受欢迎的新AI应用程序NotebookLM，OpenAI更慌了。

由于Orion停滞不前，企业开始开发其他项目和应用程序，包括精简版的GPT-4和可以制作AI生成视频的Sora。但知情人士表示，这导致了开发新产品的团队和 Orion研究人员之间需要争夺有限的计算资源。

另外，OpenAI也正在开发更先进的推理模型，认为通过让AI“思考”更长时间，可以解决训练中未遇到过的复杂问题。

然而，这些新策略也面临挑战。苹果企业的研究人员发现，包括OpenAI的o1在内的推理模型很可能只是在模仿训练数据，而非真正解决新问题。此外，o1生成多个答案的方法也增加了运营成本。

尽管如此，OpenAI仍在坚持不懈地推进GPT-5的开发。周五，Altman宣布了一个比以往任何产品都更智能的新推理模型计划，但未透露何时或是否会推出堪称GPT-5的模型。

本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。


来源：36kr