本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁更是直言:只要他想要的,我们都给。
白交 来源: 量子位GPT竟然是在Jupyter notebook上诞生的。
奥特曼称他是爱因斯坦级别的天才;OpenAI总裁更是直言:
Alec Radford大神离职OpenAI,现在牵出更多细节:
改变世界的GPT,竟然是在Jupyter notebook上诞生的。
而他只负责提供背后的灵感,剩下的由工程师来解决。
(网友:那在Excel也可以做到这一点)
奥特曼高度评价:没有他应有的知名度。
他在Jupyter notebooks上发明了GPT
在奥特曼帖子下面,更多细节轶事被扒了出来。
比如事实是,他差点就放弃了将语言作为通往 AGI 的道路。
据这位OpenAI员工描述,在Alec在职最后一天他们有机会第一次谋面,他向Alec询问了坚持语言模型背后的原因。
大概在2017年,Alec花了几年时间来研究RNN,但是进展不大。
于是Alec就感觉很沮丧,就想着要不要退出OpenAI。最终他决定休息一个月来调整,重新思考自己的方案。
回来后不久,Ilya就跟他推荐了谷歌前同事的新论文,也就是那篇著名的 Attention is all you Need 。
于是乎,他就开始了新的架构尝试,并将其与无监督预训练相结合。
结果效果非常好, GPT时代就此开始 。
同样还有CLIP,他曾为此 闭关一年 来解决计算机视觉问题,最终才得以推出。CLIP也成为后续解决2D计算机视觉问题的基础。
不过能造就GPT、CLIP,也是少不了OpenAI诸位同事对他的全力支持——
当时他在Jupyter notebooks上编写代码,然后就让研究工程师在那里翻译。 好奇心胜过一切 。
OpenAI总裁Greg Brockman曾提到过这位天才: 只要他想要的,我们都给 。
当时是在2023年SXSW大会上,Greg Brockman表示,Alec Radford对语言非常感兴趣,一直在研究如何构建小型聊天机器人。
据这位朋友分享,当时他在学习ML,在MNIST训练一个普通的MLP,结果遇到了一个愚蠢的小问题。
然后Alec没有敷衍,又或者是帮忙修复这个小问题,而是立即开始教关于CNN方面的知识。
奥特曼:爱因斯坦级别的天才
他毕业于富兰克林·欧林工程学院(Franklin W. Olin College of Engineering)。
据网友透露,这是个规模很小、以项目为导向的工程学院。其声誉与Rose-Hulman理工学院和Harvey Mudd College等学校类似。
他们的学生在项目方向上往往有很大的个人自由度,并能直接接触到大量的教师和研究工作,这与其他院校的研究生经历不相上下。
随后就加入OpenAI,一干就是八年。
截至今日,他的论文被引数已超过19万。被引量排名前三的论文,分别与GPT-3、CLIP和GPT-2相关。
这三篇论文都为今天的ChatGPT打下了重要基础,实际上,Alec几乎参与了OpenAI所有的重大突破。
除了被引量最高的这三篇,从第一代GPT到GPT-4o的作者名单中,Alec的名字都赫然在列,并且前两代中都是第一作者。
Alec同样作为一作的CLIP,则是OpenAI在多模态路线上的重要成果,甚至在整个行业都极具影响力;同时,Alec也是OpenAI初代绘图模型DALL·E的参与者。
其他模态方面,OpenAI开源的语音识别系统Whisper,一作仍然是他。不过,最新的o1模型贡献者列表中已经没有了Alec的名字。
接下来,奥特曼表示,期待他以独立开发者的身份与OpenAI合作。
网友:不用博士学位也能干大事?
Alec Radford的经历,牵出来更多研究层面上的讨论。
这样看,博士学位是不是就不是招聘中的必选项了。
但也有持反对意见,这样以偏概全未免有点夸张和过于简单化了。博士学位不仅仅是一个证书,更是一个教会你如何批判性思考和系统地解决复杂问题的旅程。
而围绕这些细节,另一个讨论的主角是Jupyter notebook,网友们直呼:是个诞生天才想法的地方。
所以新的一年,从开始学习如何使用notebook开始吧。
参考链接:
[1]
版权所有,未经授权不得以任何形式转载及使用,违者必究。