人刚毕业,颠覆整个AI界:扒一扒Sora两带头人博士论文

看看这个时代最伟大 AI 学者的研究脉络。

2024 年是生成式 AI 元年,才到 2 月,OpenAI 就用 Sora 把竞争推向了视频生成的新高度。


我们都还记得初见 Sora 作品时受到的震撼,感叹其他竞争对手想要赶上 OpenAI,至少也得需要个半年到一年的时间。

Sora 发布后,其开发团队自然也成为关注焦点,人们都想知道具有跨时代意义的 AI 技术是如何被开发出来的。DiT 模型作者谢赛宁曾表示:「他们每天基本不睡觉高强度工作了一年」。

随着时间推移,答案正被慢慢揭晓。

以下是 OpenAI 技术报告中,Sora 的十三位作者:

其中的前两位,Tim Brooks、Bill Peebles,他们被认为是「Sora 之父」,担任 OpenAI Sora 项目研究主管,又十分年轻 —— 两人都是 2023 年刚刚从加州大学伯克利分校(UC Berkeley)博士毕业的。

在 Sora 技术公开后,他们曾共同进行宣讲,接受过很多媒体采访。

看两人的工作经历,他们分别是在 2023 年 1 月和 3 月加入 OpenAI 的。

我们知道,2022 年 11 月 30 日,OpenAI 的 ChatGPT 横空出世,由此掀起了大模型「颠覆世界」的浪潮。

他们追随传奇而来,如今回头望去,自己也成为了传奇。

作为 Sora 背后的主要推动者,Tim Brooks、Bill Peebles 两人的博士毕业论文,也都是以 AI 视频生成为主题的。是时候从技术发展的角度,来研究一下 Sora 的来龙去脉了。

Tim Brooks

个人主页:https://www.timothybrooks.com/about/
Tim Brooks 博士毕业于 UC Berkeley 的「伯克利人工智能研究所」BAIR,导师为 Alyosha Efros。

在博士就读期间,他曾提出了 InstructPix2Pix,他还曾在谷歌从事为 Pixel 手机摄像头提供 AI 算法的工作,并在英伟达研究过视频生成模型。博士毕业后,Tim Brooks 加入 OpenAI,参与过 GPT-4、Sora 等多项研究。

2023 年,Tim Brooks 顺利毕业,博士论文接近 100 页。论文题目为《Generative Models for Image and Long Video Synthesis 》。

论文地址:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2023/EECS-2023-100.pdf

论文简介

在这篇博士论文中,Tim Brooks 提出了将图像和视频生成模型用于一般视觉内容创作的基本要素,主要体现在三个方面:

首先,论文介绍了长视频生成相关研究,并提出一种网络架构和训练范式,用于从视频中学习长程时间模式,这是将视频生成从较短的剪辑推进到较长…

William (Bill) Peebles

个人主页:https://www.wpeebles.com/
2023 年,William (Bill) Peebles 在伯克利人工智能研究中心获得了博士学位,导师是 Alyosha Efros,与 Tim Brooks 师出同门。

William (Bill) Peebles 本科毕业于麻省理工学院,曾在 FAIR、Adobe Research 和 NVIDIA 实习过。在攻读博士学位期间,他得到了美国国家科学基金会(NSF)研究生研究奖学金计划的支…

William (Bill) Peebles 的博士论文以图像生成模型为主题,论文题目是《Generative Models of Images and Neural Networks》。

论文地址:https://www.proquest.com/openview/818cd87d905514d7d3706077d95d80b5/1?pq-origsite=gscholar&cbl=18750&diss=y

论文简介

大规模生成模型推动了人工智能的最新进展。这种范式使得人工智能的许多问题取得了突破,其中自然语言处理(NLP)领域是最大的受益者。

给定一个新任务,预训练生成模型可以零样本地解决该任务,也可以在少量特定于任务的训练样本上进行有效的微调。

然而,在视觉、元学习等领域,生成式模型的进展却落后了。

William (Bill) Peebles 的博士论文研究了训练改进的、…

参考内容:



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

人刚毕业,颠覆整个AI界:扒一扒Sora两带头人博士论文

https://www.gptnb.com/2024/07/03/2024-07-02-auto5-qLJ9qP/

作者

ByteAILab

发布于

2024-07-03

更新于

2025-03-21

许可协议