C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  少尉

注册:2015-11-142
发表于 2024-11-26 18:35:59 |显示全部楼层
小牛马 发自 凹非寺
量子位 | 公众号 QbitAI
大模型创业太累,又一大牛决定重回大厂。

Yi Tay,曾是Reka AI联合创始人,也曾是GOOGLE大模型PaLM、UL2、Flan-2、Bard的重要参与者。

亚星游戏官网-yaxin222



本周是他回到GOOGLE的第一周,也是他离职创业一年半之后,选择回归老身份的开始。

他将继续担任GOOGLEDeepMind高级研究员,向GOOGLE大神、也是他之前的老板Quoc Le汇报。

回顾过去这段创业经历,他表示学到了很多,比如基础设施方面的常识、如何从头开始训练大模型等等。

但与此同时,他也经历了一些不那么好的时刻:

企业费劲筹集的一亿多美金,对于一个不到15个人的团队仍然紧张,还差点卖身自救。

个人层面,他的身心健康受到了很大影响。由于工作强度大和不健康的生活方式,他还长胖了15公斤。

为此他表示:

放弃舒适区并创业对我个人来说真的很可怕。
大牛重回GOOGLE大厂

去年三月末,他官宣离职GOOGLE参与创业RekaAI,并担任该企业的首席科学家。

在此之前,他在GOOGLE大脑工作了3.3年,参与诸多大模型的研究,撰写累计约45篇论文,其中16篇一作,包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等,约20次产品发布,妥妥大牛一位。

亚星游戏官网-yaxin222



从技术角度上讲,他坦言学到了很多关于在GOOGLE没法学到的常识。

比如学会使用Pytorch/GPU 和其他外部基础设施,以成本最优的方式从头构建非常好的模型。

为此他还在个人网站上分享了相关经验:训练模型的首要条件是获取计算能力,但这一过程就好像买彩票。

并非所有硬件都是一样的。不同算力提供商的集群质量差异非常大,以至于要想训练出好的模型需要付出多大的代价,这简直就是在抽签。简而言之,LLM 时代的硬件彩票。
这与在GOOGLE使用TPU相比,这些GPU的故障率让他大吃一惊。
此外他还吐槽外部代码库的质量远远落后GOOGLE的质量,这些代码库对大规模编码器-解码器训练的支撑非常少。

但这种持续遇到问题持续解决的经验, 并非痛苦反而很有趣,并且最终凭借着自身技术实力也挺了过来。

在创业初期,他们的旗舰模型Reka Core在Lmsys首次亮相,就跻身第7位,企业排名前五,实现了对GPT-4早期版本的超越。

目前他们主要有四个模型,适用于不同的应用场景。

亚星游戏官网-yaxin222



而真正“打倒”他驱使他离职的,是更为现实的原因。

就企业层面来说,作为初创企业,其资金、算力和人力跟其他实验室相比都要少得多。

就算他们分批筹集了一亿多美金,对于一个不到15人的团队仍然不够。

今年5月Reka AI还被曝出卖身自救,Snowflake正就以超过 10 亿美金收购Reka AI的事宜谈判。

不过现在来看,收购事宜还没有谈成。在Yi Tay宣布新动向后,他们紧急发声,现在企业还在积极招人ing。

亚星游戏官网-yaxin222



而就他个人来说,这是段非常紧张的时期。尤其刚开始创业的时候妻子怀孕,他不得不同时兼顾两边,由此身心健康受到很大的损害。

并且由于高强度的工作和不健康的生活方式,他长胖了15公斤。

不过他自己也曾透露过自己有睡眠障碍。

亚星游戏官网-yaxin222



种种原因,他决定重回GOOGLE,回归到一个研究者的身份。

亚星游戏官网-yaxin222



在初创企业世界探索了一年半之后,我决定回归我的研究根基。
在分享经历的开始,他写下了这样一句话。

回到GOOGLE之后,他将探索与大模型相关的研究方向,以高级研究员的身份,向大神Quoc Le汇报。

在博客的最后,他感谢了创业这段时间始终联系的GOOGLE老朋友。

并且还特地感谢了在新加坡同他共进晚餐的Jeff Dean,并且提醒他谷歌 很棒。(Doge)

亚星游戏官网-yaxin222



GOOGLE老同事:欢迎回来

一些GOOGLE老同事在底下纷纷表示:Welcome back!感觉像是过了十年。

亚星游戏官网-yaxin222



值得一提的是,像这种大牛重返大厂并非个例。

今年8月GOOGLE以25亿美金打包带走了明星AI独角兽Character.AI的核心技术团队,远高于Character.AI 10亿美金的估值。

其中包括两位创始人——Transformer“贡献最大”编辑Noam Shazeer和Daniel De Freitas。其中Noam Shazeer出任Gemini联合技术主管。

这样看起来,对于这些大牛来说,大模型创业确实不易,重返大厂确实是个不错的选择,至少钱够算力够、安安心心做研究。

而随着新一轮的洗牌期到来,更多技术大牛朝着科技巨头聚拢,也已经初见端倪。

参考链接:
[1]https://x.com/YiTayML
[2]https://www.yitay.net/?author=636616684c5e64780328eece
[3]https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
[4]https://www.yitay.net/blog/leaving-google-brain


来源:网易

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-26 02:44 , Processed in 0.177784 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图