OpenAI连丢3高管,光杆司令奥特曼紧急扶持华人上位!半年流失15员大将

OpenAI又一轮震荡来了,1天之内3位高管离职。就在CTO Mira官宣离职不久后,Altman亲自宣布了更多高层人事变动。


研究主管Bob McGrew、研究副总裁Barret Zoph也将离开OpenAI。

“Mira、Bob和Barret是各自独立且友好地做出了这些决定。但由于Mira决定的时机,使得我们现在一起宣布这些变化更加合理,这样我们可以共同努力,顺利交接给下一代领导团队。”

在OpenAI内部发布通知后,Altman马上把最新情况对外同步给所有人。

网友们感慨,这距离去年Altman“熹妃回宫”大戏也才不到1年,曾经支持他的人也走了一些。

量子位不完全统计,2024年OpenAI已经流失了十余位高管/核心技术人员。

与此同时,OpenAI也迎来新一代领导格局。其中最值得关注的是Mark Chen上位,成为新的研究高级副总裁(SVP of Research),与首席科学家Jakub Pachocki一起领导研究工作。

对于当下的变化,Altman表示自己也不想假装镇定。毕竟Mira也是早上才通知了他离职的决定。为啥突然提?理由也给了:不突然的话,消息肯定被泄露,还不如突然点。

Altman接受了这个理由。并表示他们几个人下午五点半还聚会了一下。明天OpenAI将召开全体会议,届时将回答所有疑问。

首席战略官Jason Kwon也发推表示:再也找不到比Mira更好的搭档了。

但另一边,有消息称OpenAI正在讨论给予Altman 7%的公司股权,并重组为盈利性企业。这意味着Altman将首次获得OpenAI的所有权

OpenAI“第三次分裂”

目前最新离职的两位高层在推特上回应这一消息。二人表示是时候离开了,但都没有提及下一站去哪。

Bob McGrew自2017年1月加入OpenAI,2018年从技术人员晋升为研究副总裁,之后担任研究主管。

他负责领导OpenAI的研究工作,建立“世界上最强大的模型,然后让全世界通过ChatGPT和API使用它们”。

前不久,他还和o1团队一起接受采访,揭秘背后开发细节。

对于离职他表示:

在OpenAI的这八年经历让我始终谦卑且充满敬畏。2017年1月我加入的这个小型非营利组织,现已成为世界上最重要的研究开发公司。我非常享受与一群聪明、敬业的同事一起工作——世界上没有其他地方能与之相比。我对我们研究团队这些年来的工作感到无比自豪,从早期在强化学习领域的成就,到开创性地研发大规模语言模型,再到构建第一个多模态生成模型,最后用ChatGPT改变世界。

现在是我该休息的时候了。没有什么比推出o1(OpenAI的一个项目)更能完美总结我在这里的工作了。

接下来,Mark Chen将作为高级副总裁领导研究团队,Jakub将继续担任首席科学家。在接下来的两个月里,我将继续支持Mark、Jakub和团队完成过渡工作。我对他们的领导能力充满信心,相信他们能将OpenAI的研究推进到AGI及更远的领域。我迫不及待地想看到这个团队接下来的表现。

另一位离职高管是Barret Zoph。

他自2022年加入OpenAI,从零开始搭建并领导后训练团队。

之前OpenAI发布Her时上台演示视频通话,因为延迟被AI当成木头桌子的那个人就是他。

如今Her已全量开放给付费用户,也到了他离开的时候。

对于离职,Zoph表示这是基于个人职业发展需求下的决定。

大家好,我决定离开OpenAI。

这个决定非常困难,因为我在OpenAI度过了一段难以置信的时光。我在ChatGPT发布之前加入,并与John Schulman和其他人一起从零开始建立了后训练团队。我非常感激有机会领导后训练团队,帮助构建和扩展ChatGPT到今天的规模。现在对我来说,似乎是时候在OpenAI之外探索新的机会了。这是一个基于我个人职业发展需求的决定。

我非常感激OpenAI给我的所有机会,以及Sam和Greg等领导层对我的支持。特别感谢Bob为我所做的一切,他是我在OpenAI职业生涯中一位出色的经理和同事。后训练团队有很多优秀的领导者,我相信他们会继续把团队管理好。

OpenAI正在并将继续做出令人难以置信的工作,我对公司的未来充满乐观,并会一直为大家加油。

随着Barret的离开,OpenAI员工感慨,这是OpenAI的第三次分裂,后训练团队也分崩离析。

这里OpenAI的第一次分裂,指Amodei兄妹带领大批GPT-3研究成员出走,建立Anthropic,后来发布Claude模型,成为OpenAI最大的竞争对手之一。

而上个月,和Barret一起建立后训练团队的John Schulman,去向正是Anthropic。

新格局已形成

伴随着几位高层离职,新的格局也已形成。

Mark Chen接下来将担任高级研究副总裁。他自2018年来加入OpenAI,此前职位是研究副总裁,为主管前沿研究,并且是美国IOI教练。他核心参与了DALL・E、GPT-4、o1等模型开发。

接下来他将和Jakub Pachocki共同领导OpenAI的研究工作。

Jakub Pachocki于2017年加入OpenAI,一开始领导Dota组,后负责推理、深度学习等团队,是ChatGPT、GPT-4等模型的核心贡献者之一。他整体负责了GPT-4项目,也是优化团队负责人。

今年5月,他接任Ilya晋升为首席科学家。

Joshua Achiam将成为新的对齐团队负责人。该团队将保障OpenAI的研究始终安全正确,以实现其终极使命。

他2017年来OpenAI实习,后续转正为研究科学家。一直致力于AI安全领域研究。

今年5月,随着Ilya和RLHF发明人之一Jan Leike相继离职,OpenAI超级对齐团队分崩离析。

Kevin Weil和Srinivas Narayanan将继续领导应用团队。

Kevin Weil今年6月才加入OpenAI,担任CPO(首席产品官)。

Srinivas于2023年加入,担任工程副总裁,领导OpenAI工程工作,包括ChatGPT、开发者平台以及相关基础设施支持工作。

Matthew Knight将担任首席信息安全官。

他于2020年加入OpenAI,领导安全、IT以及安全隐私方面研究及工程工作。

最后,附上Altman原文:

ChatGPT翻译如下。

我刚刚在OpenAI发布了这则通知:

大家好,

过去6年半里,Mira对OpenAI的发展和成长起到了至关重要的作用。她是我们从一个默默无闻的研究实验室发展成一家重要公司的重要因素之一。

今天早上Mira告诉我她要离开时,我感到很难过,但当然支持她的决定。在过去的一年里,她一直在培养一批优秀的领导者,他们将继续推动我们的进步。

我还想告诉大家,Bob和Barret也决定离开OpenAI。Mira、Bob和Barret是各自独立且友好地做出了这些决定。但由于Mira决定的时机,使得我们现在一起宣布这些变化更加合理,这样我们可以共同努力,顺利交接给下一代领导团队。

我对他们的贡献表示极大的感激。

在OpenAI做领导者是全身心投入的。一方面,能够构建AGI并将我们的先进研究成果带给数亿人,是一种荣幸;另一方面,带领团队完成这些任务是非常艰辛的——他们为公司付出了超乎寻常的努力。

Mark将成为我们的新研究高级副总裁,并将与首席科学家Jakub一起领导研究组织。这是我们长期以来为Bob计划的继任方案;虽然这一变动比我们预期的要早,但我对Mark接任这一角色感到非常兴奋。Mark显然具有深厚的技术专长,过去几年里他还学会了如何成为一名出色的领导者和管理者。

Josh Achiam将担任新的使命对齐负责人,在整个公司范围内确保我们能够正确处理所有事项(包括文化),以实现我们的使命。Kevin和Srinivas将继续领导应用团队。

Matt Knight将担任我们的首席信息安全官,他已经在这个岗位上工作了很长时间。这一直是我们的计划。

Mark、Jakub、Kevin、Srinivas、Matt和Josh将向我汇报。过去一年左右的时间里,我主要关注我们组织的非技术部分;现在我期待着将大部分时间投入到公司的技术和产品部分。

今晚5:30,我们将在575聚会,Mira、Bob、Barret和Mark都会在场。这是为了表达我们的感激之情,并回顾我们共同取得的成果。明天我们会召开全体会议,可以在会上回答任何问题。日程邀请将很快发送。

领导层的变动是公司发展过程中自然的一部分,尤其是那些快速成长且要求高的公司。我不会假装这次变动如此突然是正常的,但我们不是一个普通的公司,我认为Mira向我解释的原因(永远没有合适的时机,任何不突然的决定都会泄露,她希望在OpenAI正处于上升期时行动)是合理的。我们可以在明天的全体会议上进一步讨论这件事。

感谢大家的辛勤工作和奉献。

Sam

参考链接:
1
2
3

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

《泰坦尼克号》导演卡梅隆,加入生成式AI赛道

Stability AI的首席执行官Prem Akkaraju宣布,全球最著名导演之一詹姆斯·卡梅隆,加入董事会。

卡梅隆表示,将利用其在电影制作领域的几十年深厚经验,帮助Stability AI在图像、视频等领域更进一步。


同时相信生成式AI将是下一代影视的主要制作工具。

卡梅隆曾在2023年被问及ChatGPT等生成式AI在电影制作中能否起到帮助作用。他当时表示对使用AI协助编写剧本不感兴趣,认为AI不太可能感动观众,写出的东西没有灵魂。

但他也承认,如果20年后一部由AI生成的剧本赢得了奥斯卡奖,好莱坞应该会对AI产生浓厚的兴趣。仅仅经过了一年的技术迭代,生成式AI就发生了翻天覆地的变化,同时改变了卡梅隆对这个技术的看法。

但卡梅隆还表达了他对AI的真正担忧是其武器化。在1984年拍摄《终结者》电影时他就非常关注AI的问题:“我在1984年就警告过你们,但你们没有听。我认为AI的武器化是最大的危险。我认为我们将进入AI军备竞赛,如果我们不建造它,其他人肯定会建造,然后它就会不断迭代升级。”

卡梅隆的职业生涯一直在探索新兴技术,并且每一次都为电影行业带来了技术革命。30年前,他站在CGI技术的前沿引领该技术的发展。现在,他看到了生成式AI和CGI图像创造的结合,认为这将是艺术家们讲述故事的全新方式。

目前,Stability AI的董事会成员一共有四位,分别是CEO Prem,Greycroft的联合创始人兼管理合伙人Dana Settle,Coatue Management的首席运营官兼普通合伙人Colin Bryant以及新加入的卡梅隆导演。

詹姆斯·卡梅隆是全球最著名的电影导演、编剧和制片人,1984年,卡梅隆凭借自编自导的科幻恐怖片《终结者》一炮而红。这部电影以其独特的故事和突破性的特效赢得了观众和评论家的一致好评,为其奠定了在好莱坞的地位。

1991年,卡梅隆执导并编剧的《终结者2:审判日》再次取得巨大成功,该片不仅在票房上大获成功,还因其开创性的CGI特效和动作场面而备受赞誉。

1997年,卡梅隆执导的爱情灾难片《泰坦尼克号》成为当时全球票房最高的电影。这部电影以1912年泰坦尼克号沉没事件为背景,讲述了一段感人至深的爱情故事。该影片在1998年的奥斯卡颁奖典礼上横扫11项大奖,包括最佳影片和最佳导演。

2009年,卡梅隆又执导并编剧的科幻电影《阿凡达》,再一次掀起了电影变革,将3D电影普及到全球各地。影片采用了最先进的3D技术和CGI效果,创造了一个前所未有的视觉奇观。

同时《阿凡达》再次刷新了全球票房纪录,并获得了九项奥斯卡奖提名,最终赢得了最佳艺术指导、最佳摄影和最佳视觉效果三项大奖。

Stability AI是目前最知名的开源大模型平台之一,其开源的文生图、文生视频等模型的下载量累计超过1亿次,尤其是Stable Diffusion系列模型是目前使用最多的文生图产品。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

突破数据墙!27岁华裔MIT辍学创业8年,年化收入逼近10亿

就在刚刚,创业成功的27岁亿万富翁Alexandr Wang宣布——

Scale AI的年化收入,几乎达到了10亿美元!

这个数字,足够震惊整个硅谷的。

相比之下,OpenAI预估的年收入也只是35-45亿美元而已。


再减去85亿美元的成本,OpenAI今年可能会血亏50亿。

这Scale AI是什么来头,能在营收上取得如此惊人的成绩?

原来,它主攻的就是如今AI模型的一大软肋——对数据的巨大需求。

Scaling Law的存在意味着,随着模型变大,对数据的需求也呈现指数级增长,越来越多的人担心大模型会耗尽可用数据。

Scale AI的主营业务——做AI模型的「数据工厂」,恰好处于这个风口之上。

如果能攻克「数据墙」这个AI进步的巨大瓶颈,Alexandr Wang理所当然会赚得盆满钵满。

在AI浪潮中,赚得盆满钵满

生意能做这么大,源于Scale AI越做越成功的一项大业务。

在AI生态圈中,为大公司提供基础设施或服务支持的业务,市场需求巨大。

Scale AI做的就是后者——为这些公司提供人工数据标注员。帮AI公司提高LLM的准确性。Meta、谷歌等大公司,都是它的客户。

而且,今年Scale AI的生意越做越红火了。

跟去年同期相比,它今年上半年的销售额增长了近4倍,已经接近4亿美元。

可以肯定地说,Scale AI是从AI热潮中受益最多的私营企业之一。

投资者们当然也看到了这一点。

今年5月,Scale AI以138亿美元的估值,进行了新一轮融资。

投资者包括Accel、Founders Fund、Index Ventures、Thrive Capital和Greenoaks Capital等。

并且,除了亚马逊和Meta之外,Scale AI还吸引了各种各样的新投资者:思科、英特尔、AMD等风险投资部门参与其中,而且很多注资过的公司也回归了,包括英伟达、Coatue、Y Combinator等等。

就在近期,Wang手下的高管团队,再度进行了调整。

首席技术官Arun Murthy将离开公司,而去年离开风投公司Benchmark的前优步高管Jason Droege将加入公司担任首席战略官,直接向Wang汇报。

首席策略官Jason Droege解释自己为什么要加入Scale AI:这让我有机会参与到我一生中技术领域最根本的变革中

在Droege看来,Scale解决了人工智能中最困难的挑战之一:通过数据改进模型。做到这一点需要卓越的人才、复杂的运营和对AI未来发展的强烈愿景。虽然团队迄今已经取得了瞩目成就,但仍处于起步阶段。

2023年上半年开始,公司收入激增

这家成立8年的初创公司,一直负责合同工的招聘和培训,但尚未实现盈利。

然而就在今年上半年,它成功改善了运营的毛利率——每产生1美元收入,只需要花费约1.2美元,而在去年上半年,这一数字为1.5美元。

如今仅考虑业务成本(比如合同工的工资),Scale AI保留的收入只有一半。毛利率这一财务指标,略低于50%。比起2022年上半年约57%的毛利率,这个数字有所下降。

这一水平,大大低于科技投资者对软件公司的期望。

但尽管如此,5月份的融资还是为Scale AI提供了雄厚的资金实力。截至上半年末,公司还有约9.8亿美元的现金。

从去年上半年开始,公司收入就开始激增。因为构建LLM的客户需要很多合同工,通过向聊天机器人提交问题、撰写答案,来训练AI模型。

在给投资者的PPT上,Scale AI自称是「一个人机混合系统,以低成本生产高质量数据」。

根据外媒消息,它还通过一家名为Outlier的子公司,雇佣了数十万个小时工,来进行数据微调。

显然,Scale AI选择聚焦LLM客户,是一种战略转型。

此前,它还有一项类似业务,主要是利用菲律宾和肯尼亚的低成本劳动力,为自动驾驶汽车公司标注数据。但近年来,这项业务的增长已经放缓。

现在,即使雇佣薪酬更高、更专业的合同工,Scale AI的收入也依然能提高,因为它可以将这些更高的成本转移给客户。

当然,现在Scale AI也并非硅谷投资者眼中稳赚不赔的投资。投资者担忧的问题,包括公司较低的毛利率,以及过度依赖少数几个大客户的问题。

天才少年辍学创办独角兽

Scale AI由Alexandr Wang和Lucy Guo于2016年创立,由著名创业孵化器Y Combinator投资。客户包括Meta、微软、英伟达、OpenAI、丰田和哈佛医学院。

2019年,Scale AI成为独角兽。

2022年,Alexandr Wang成为全球最年轻的白手起家的亿万富翁。

Wang于1997年出生于新墨西哥州,父母都是在新墨西哥州洛斯阿拉莫斯国家实验室的物理学家。

高中阶段,他开始通过网络自学编程,开始参加世界级编程大赛,如美国计算机奥林匹克竞赛(USACO)。

17岁,他成为美国知名问答网站Quora的全职码农;18岁,考入麻省理工学院攻读机器学习;在MIT大一刚结束后的暑假,他就和Guo一起创办了Scale,并且拿到了Y Combinator的投资。

Wang跟爸妈说,「这就是我夏天随便玩玩的事。」

Scale AI刚起步时,有些人确实觉得这就是一个笑话,毕竟公司当时只有三名员工。

不过,在不断地融资和发展之下,Scale AI发展飞速,到2021年已经成长为价值73亿美元的独角兽企业,2023年初公司规模也扩展到了700人。

Wang透露,随着企业客户竞相训练生成式AI模型,Scale AI的这方面业务快速增长。

2023年,公司年度经常性收入增加了两倍,预计2024年底将达到14亿美元。

由于Scale AI的惊人成就,Alexandr Wang已经被硅谷公认为「下一个扎克伯格」。

AI模型的「数据工厂」

AI领域公认的三个基本支柱——数据、算法和算力。

算法领域,前有谷歌、微软的大型研究院,后有推出过Sora和GPT系列模型的OpenAI;算力领域有供货全球的英伟达,但在Scale AI还未诞生的2016年,数据领域仍处于空白。

19岁的Alexandr Wang在看到这一点后,做出了辍学创业的决定,「我创办Scale的原因是为了解决人工智能中的数据问题」。

大部分数据都是非结构化的,AI很难直接学习这些数据;而且大型数据集的标注一项资源密集型工作,因此,「数据」被很多人认为是科技领域最辛苦、最卑微的部分。

但Scale AI却在短时间内就获得了巨大成功。他们可以为不同行业的企业客户量身定制数据服务。

在自动驾驶领域,Cruise和Waymo等公司通过摄像头和传感器收集了大量数据,Scale AI将机器学习与「人机回路」监督相结合,管理和标注这些数据。

他们曾经开发的「自治数据引擎」,甚至推动了L4级自动驾驶的发展。

Wang表示,Scale AI将自己定位为整个AI生态的基础设施供应商,构建「数据铸造厂」,而不仅仅是在子公司Remotasks中雇佣大量的合同工进行人工标注。

他强调,来自专家的、包含复杂推理的数据是未来人工智能的必备条件。

传统的数据来源,比如从Reddit等社区的评论中抓取数据存在局限性。Scale AI构建了一些流程,模型先输出一些内容,例如撰写研究论文,在此基础上,人类专家可以改进这些内容,从而改进模型的输出。

「虽然人工智能生成的数据很重要,但想要获得有一定质量和准确性的数据,唯一方法是通过人类专家的验证。」

Alexandr Wang在Scale AI的官网上这样写道,「数据丰富不是默认情况,而是一种选择,它需要汇集工程、运营和AI方面最优秀的人才」。

Scale AI的愿景之一是「数据丰富」,从而将前沿LLM扩展到更大数量级,「为通向AGI铺平道路。在达到GPT-10的过程中,我们不应该受到数据的限制」。

业内盛赞的LLM排行榜更新

Scale AI对业界所做的贡献,不仅是数据标注这么简单。

今年5月,Scale AI重磅推出了全新LLM排行榜——SEAL,开始对前沿模型开展专业性评估。

对于这个榜单,Jim Fan大加赞赏。他认为SEAL是LMSys的非常好的补充和参照,提供公开模型的私密、安全、可信的第三方评估。

对此,Andrej Karpathy也深以为然。

随着OpenAI最强模型——o1的推出,SEAL排行榜也第一时间进行了评测。

除了在高级编程、数学和科学等领域表现出色之外,o1系列也为「prompt engineering」(提示工程)引入了新的变化。

在工具使用和指令跟随方面,o1-preview表现出色。而在编程能力方面,o1-mini夺得榜首,o1-preview紧随其后位居第二。

  • 编程排行榜

在SEAL编程排行榜上,o1-mini以1271分的成绩领跑,紧随其后的是o1-preview,得分为1198。

评估数据集使用了1000个提示词,用于测试各种编程任务,涵盖从代码生成到优化和文档创建等多个方面。

过程中,每个模型的响应都会从正确性、性能和可读性三个维度进行评估,综合运用人工审核和代码执行测试的方法。

  • 指令跟随排行榜

在对精确指令跟随能力的评估中,o1-preview以87.27 分的成绩领先,超越了知名Claude 3.5 Sonnet和Llama 3.1 405B Instruct。

评估数据集包含1054个跨领域的提示词,涉及文本生成、头脑风暴和教育支持等多个方面。

提示工程的变化

与我们熟悉的GPT、Gemini或Claude等模型相比,o1模型的提示词使用和可操控性明显不同。

根据OpenAI的建议,简单直接的指令有助于充分发挥o1的潜力。

与之前的模型不同,用户应避免要求模型进行思维链推理。他们还指出,提示词中的无关上下文对o1模型的干扰可能比之前的GPT系列更大,因此在检索增强生成(RAG)提示中加入一些示例很重要。

Cognition Labs发现,要求模型「think out loud」(大声思考)实际上会损害性能,而只要求给出最终答案反而会提高性能,因为o1模型无论如何都会产生内部的思细链。他们还指出,冗长或重复的指令会损害性能,而过于具体的指示似乎会影响模型的推理能力。

虽然o1在基准测试中取得了出色的结果,但让它完成你自己的具体任务似乎需要更多努力——它们往往会忽视明确(甚至是强调的)关于如何解决问题的指令。

由此可见,现实世界的提示和基准测试中使用的提示之间,实际上存在着不小的差距:后者旨在只包含明确的、自包含的、最小呈现的问题,没有关于如何解决它们的建议或意见。

需要注意的是,o1-preview响应的延迟,特别是其「首个token的时间

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

从数据增强的隐藏作用出发,揭示视觉强化学习可塑性损失的独特机制

Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现:在持续学习环境中,标准深度学习方法的表现竟不及浅层网络。研究指出,这一现象的主要原因是 “可塑性损失”(Plasticity Loss):深度神经网络在面对非平稳的训练目标持续更新时,会逐渐丧失从新数据中学习的能力。


深度强化学习任务中的神经网络实际上面临着更为严峻的可塑性损失问题。这源于强化学习智能体必须通过与环境的持续互动来不断调整其策略,使得非平稳的数据流和优化目标成为深度强化学习范式中的固有特征。值得注意的是,即使在单任务强化学习中,在线数据收集和策略更新也会导致数据分布和优化目标持续动态变化。因此,严重的可塑性损失已然成为制约深度强化学习算法样本利用效率的关键瓶颈。

要突破视觉强化学习样本利用效率低下这一瓶颈,关键在于深入解构深度强化学习中神经网络可塑性损失的细节,从而明确问题的根源。针对这一挑战,来自清华大学、悉尼大学、华盛顿大学、京东探索研究院和南洋理工大学的研究人员展开了一项全面而深入的研究。他们选取视觉强化学习任务作为深度强化学习的典型代表,创新性地从数据、模块和训练阶段三个关键角度对神经网络的可塑性损失特征进行分析。

论文链接:https://arxiv.org/abs/2310.07418
代码链接:https://github.com/Guozheng-Ma/Adaptive-Replay-Ratio

这项研究不仅解释了视觉强化学习中一些此前难以理解的反常现象,还揭示了一系列与直觉相悖的有趣结论。该研究成果已在 ICLR 2024 上发表,本文将对其中一系列引人深思的发现进行进一步梳理和总结。其中最核心的要点可概括如下:

  1. 揭示了数据增强的作用机制:简单的数据增强能够显著提升视觉强化学习的样本利用效率,其效果令人瞩目。在自动驾驶任务 CARLA 中,引入数据增强将性能提高至基准的 235%。更令人惊讶的是,在 DeepMind Control suite 的 9 种机器人控制任务中,数据增强平均将性能提升至基准的 431%。然而,尽管这些惊人的效果早已被观察到,但数据增强为何能带来如此显著的性能提升一直是一个未解之谜。该研究的突破性发现揭示了视觉强化学习中数据增强背后的作用机制:它能直接有效地缓解训练过程中的可塑性损失。

  2. 明确了样本利用效率的关键瓶颈:过去多年,学界普遍认为导致视觉强化学习样本利用效率低下的主要瓶颈在于训练视觉表征器的难度。然而,这项研究通过一系列巧妙的实验,颠覆了这一长期以来的观点。研究结果表明,目前限制视觉强化学习样本利用效率的关键因素并非编码器(Encoder)的视觉表征能力,而是评价者网络(Critic)的可塑性损失。

  3. 突出了训练早期干预的重要性:可塑性损失指的是模型的学习能力随着训练不断减弱的现象。然而,不同训练阶段对于避免灾难性可塑性损失的作用是否有所不同,这一问题此前一直未被深入探索。该研究填补了这一空白,揭示了一个关键发现:训练早期对 Critic 网络可塑性的干预极为重要:若未能在训练早期及时将网络可塑性恢复到高水平,将会导致训练后期难以逆转的灾难性可塑性损失。

从视觉强化学习中的数据增强开始

数据增强已成为实现高样本利用效率的视觉强化学习算法中不可或缺的组件。与监督学习中数据增强仅带来渐进式改进不同,在多种视觉强化学习任务中,数据增强对算法效果起到了决定性作用。如上图所示,在不使用数据增强的情况下,算法几乎无法训练出有效的策略。相反,仅仅引入对输入观察图像的简单数据增强,就能在不修改算法其他部分的前提下,实现一个具有高渐进效果和样本效率的视觉强化学习算法。

这种显著的提升显然无法用传统视觉任务中数据增强的作用机理来解释。更可能的是,数据增强有效缓解或解决了强化学习中的一个关键瓶颈。在没有数据增强的情况下,智能体的性能在短暂上升后几乎停滞,这一现象与智能体遭受可塑性损失,无法从新收集的数据中学习的后果非常吻合。基于这一观察,该研究设计了巧妙的实验,旨在验证数据增强的背后作用机制是否确实在于有效缓解了灾难性的可塑性损失。

Reset 是一种简单而直接的方法,通过周期性地重新初始化智能体网络最后几层全连接层来恢复神经网络的可塑性。在这项研究中,研究人员巧妙地将 Reset 作为一种诊断工具,用来判断使用与不使用数据增强时网络的可塑性损失情况。实验结果揭示了以下关键发现:

  • 在不使用数据增强的情况下,实施 Reset 均能够带来显著的性能提升。这明确地表明,在缺乏数据增强的训练过程中,网络确实经历了严重的可塑性损失。
  • 但当引入数据增强后,Reset 的实施只带来轻微的改善,有时甚至会导致性能下降。这一结果表明,只通过数据增强就能有效提升智能体的可塑性。

这一巧妙的实验证明数据增强能够非常显著地缓解视觉强化学习训练过程中的可塑性损失,从而解释了为什么数据增强对于提高样本利用效率如此关键。通过有效维持神经网络的可塑性,数据增强实际上延长了神经网络的有效学习期,使其能够更充分地利用每一个训练样本。

研究还对比了数据增强和其他先前提出的用来缓解可塑性损失的方法。实验结果再次证明,作为一种从数据角度出发(data-centric)的方法,数据增强在缓解可塑性损失方面展现出卓越的效果,相对于目前已有的其他方案具有明显优势。

解构视觉强化学习不同模块中可塑性损失的不同影响

相较于基于状态向量的强化学习任务,视觉强化学习一直面临着样本利用效率严重低下的困扰。近年来,缩小基于图像和基于状态向量的强化学习在样本利用效率上的差距已成为整个视觉强化学习社区关注的重点。这两种学习范式的关键区别在于:视觉强化学习需要在进行策略优化的同时进行表征学习。基于这一认识,大量研究致力于通过改进视觉表征学习来提升视觉强化学习的样本利用效率。常见的方法包括添加额外的辅助表征任务,或使用预训练的视觉编码器(Encoder)。但是,高维视觉表征真的是影响视觉强化学习样本利用效率的关键瓶颈吗?

该研究通过一个巧妙的实验回答了这个问题。研究者采用了 PIE-G 提出的预训练编码器方案,并测试了数据增强对训练过程的影响。这个实验设计有两个关键点:

  • 使用在 ImageNet 上预训练的编码器,确保了足够的视觉表征能力。
  • 在整个训练过程中保持编码器不变,排除了数据增强对编码器的直接影响。

研究假设:如果表征学习是当前限制样本利用效率的关键,或者可塑性损失主要发生在编码器,那么数据增强的使用与否不应显著影响算法的训练过程。

然而,实验结果令人惊讶:

  • 数据增强对基于预训练编码器的视觉强化学习的样本利用效率产生了显著影响。
  • 在不使用数据增强的情况下,即使是简单的 Walker Walk 任务,智能体的性能在训练后期也明显停滞,表现出严重的可塑性损失。

这一发现具有重要意义:即使有了良好的视觉表征,视觉强化学习仍然存在严重的可塑性损失。这表明对于当前的视觉强化学习算法,高维视觉的表征已经不构成影响样本利用效率的关键瓶颈。更为关键的是,该实验证明了严重的可塑性损失并非发生在编码器模块,而应该是存在于 Actor 或 Critic 中。

研究者进一步使用可塑性注入(Plasticity Injection)作为可靠的诊断工具来最终判定灾难性的可塑性损失究竟发生在 Actor 还是 Critic 中。不同于 Reset,可塑性注入在恢复网络可塑性的同时不会破坏网络现有知识,因此不会出现明显的性能波动。这使得可塑性注入更适合用来作为判断特定网络模块是否发生灾难性可塑性损失的诊断工具。

实验结果揭示了两个关键发现:

  • 在使用数据增强的情况下,对 Actor 或者 Critic 实施可塑性注入都不会明显影响智能体的训练过程。这表明在 Walker Run 任务中,仅仅通过使用数据增强就足以维持训练所需的网络可塑性。
  • 在初始 100 万步训练中不使用数据增强的情况下,对 Critic 实施可塑性注入会导致性能显著提升。相反,对 Actor 进行可塑性注入也并不能使智能体恢复正常训练。这一结果充分证明,Critic 严重的可塑性损失是造成视觉强化学习样本利用效率严重低下的关键原因。

分析视觉强化学习不同模块中可塑性损失的不同影响

最后,该研究设计了一个巧妙的实验,通过在训练过程中的不同时间点开启或关闭数据增强,来探究数据增强在不同训练阶段对解决可塑性损失的影响。具体来说,他们在训练进行到三分之一时改变数据增强的使用状态,观察其对训练效果的影响。这个实验揭示了两个重要发现:

  • 在 Critic 的可塑性已经恢复后停止使用数据增强,并不会明显影响训练效率。这表明在训练的后期,不需要采取特定干预来维持可塑性。
  • 当可塑性已经显著丧失,且未能在早期阶段及时干预的情况下,后期引入数据增强也无法使智能体恢复正常的训练。这一观察强调了在训练早期维持可塑性的至关重要性,否则,这种损失将变得无法挽回。

这一实验不仅证实了数据增强在训练早期阶段的关键作

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

开放人工智能转型为盈利公司可能导致其削减成本,告密者称

开放人工智能计划转型为盈利公司可能会鼓励这家人工智能初创公司在安全方面削减成本,一名告密者表示。


前OpenAI研究工程师威廉·桑德斯告诉《卫报》,他对ChatGPT开发者正在准备改变公司结构并不再受非营利董事会控制的报道感到担忧。桑德斯本月在美国参议院作证时提出了自己的担忧,他还表示担心OpenAI首席执行官萨姆·奥尔特曼可能持有重组企业的股份。”我最担心的是这对OpenAI安全决策的治理意味着什么,”他说。”如果非营利性董事会不再控制这些决策,而萨姆·奥尔特曼持有重要股权,这就会更多地激励他们去赶超并削减成本。”

OpenAI成立时是一个非营利实体,其宪章致力于构建人工通用智能(AGI)- 它描述为“比人类普遍更聪明的系统”,从中受益于“全人类”。然而,AGI系统的潜在力量引起了包括桑德斯在内的专家和从业者的担忧,他们担心竞争性构建这种技术可能导致安全问题被搁置。桑德斯在提交给参议院的书面证词中表示,他离开公司是因为他“不再相信”OpenAI会就AGI做出负责任的决定。桑德斯曾是OpenAI强超对齐团队的成员,这是一个旨在确保强大的人工智能系统遵守人类的价值和目标的小组。

OpenAI拒绝就重组的具体细节发表评论,但表示非营利组织将继续存在。在周四发布的一份声明中,OpenAI主席布雷特·泰勒表示,董事会已经讨论过是否让奥尔特曼持有公司股权对公司和我们的使命是否有益,但没有讨论具体数字,也没有做出任何决定。据报道,奥尔特曼可能会获得OpenAI 7%的股份,该公司正在筹集65亿美元的投资,可能导致估值为1500亿美元。奥尔特曼被称为可能获得7%股份的报道为“荒谬”,据科技新闻网站The Information报道。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

AI技术公司正在使用您的帖子,以下是如何选择退出

跳到GmailGoogle DocsLinkedInMetaXSnap欢迎来到《退出选择》专栏,在这里我们将帮助您更好地管理在线隐私,向您展示如何拒绝监视。


如果您想直接跳转到特定网站或社交网络的部分,请点击本文顶部的“跳转到”菜单。竞相打造最新、最强大、最先进人工智能设备的竞争已使原本就贪婪获取数据的科技产业变得更加贪婪。希望构建AI动力搜索引擎、智能电子邮件作者或聊天机器人的公司正在搜集您的帖子和个人数据,用于训练这些需要越来越多文本和图片的系统。即使您并未主动选择让它们使用您的数据来训练他们的AI,有些公司已默认为您选择了这种选项。弄清如何阻止它们获取您的数据来训练其AI并不完全直观。近日,超过30万Instagram用户在其动态中发布消息,声明不授权Meta使用其任何个人信息来为其AI提供信息。需要明确的是,与从前的Facebook状态一样,简单的Instagram帖子不会阻止Meta以这种方式使用您的数据。…
……(文章内容请见原文)



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

ColoBarn选择IvedaAI来确保美国各地的数据中心安全

Iveda(纳斯达克:IVDA),全球领先的基于云的人工智能公司,今日宣布,科罗班(ColoBarn),亚利桑那州和佛罗里达州一家知名的机柜托管服务提供商,已选择Iveda先进的人工智能技术来加强其数据中心的物理安全。图片{ width=60% }


这一战略整合强化了科罗班保持并提升其行业领先安全标准的承诺。通过部署IvedaAI™,科罗班正在应用多种人工智能分析技术于外部摄像头,以进行全面的安全管理,包括入侵检测、人脸识别、车牌识别等。IvedaAI提供实时警报,增强了科罗班对员工和终端用户的访问控制。

全球数据中心机柜托管市场预计会显著增长,估计从2022年的572亿美元增加到2030年的1318亿美元。随着对安全可靠机柜托管服务的需求持续增长,像IvedaAI这样的创新解决方案将在满足不断发展的安全需求方面起到至关重要的作用。

科罗班正在加强其对潜在安全威胁做出预防性响应的能力,最终简化运营并确保关键数据基础设施的安全环境。Iveda和科罗班的合作在机柜托管服务的最佳安全标准方面设立了新的基准,两家公司继续引领数字转型和技术创新之路。

“在科罗班,数据所在之处,安全是我们的最高优先事项,”科罗班的CEO马修·施莱弗表示。“通过整合Iveda的人工智能技术,我们正在采取积极措施,不仅保护我们客户宝贵的数据,还要为机柜托管安全设定新标准。Iveda的专业知识和创新解决方案与我们提供无与伦比的服务和安全给客户的使命完美契合。”

David Ly,Iveda的首席执行官兼创始人,补充道:“Iveda始终信任科罗班的数据安全,我要亲自对科罗班选择IvedaAI加强其数据中心安全表示赞赏。通过选择我们的人工智能技术,科罗班展示了其作为真正创新者和行业领导者的角色。我们很高兴与科罗班合作,为机柜托管服务的安全和安全设定新标准。”

要通过IvedaAI提高您的安全性和运营,请联系我们sales@iveda.com



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

企业成为目标的移动钓鱼攻击激增:Zimperium研究

2024年zLabs全球移动威胁报告发现,82%的钓鱼网站现在针对企业移动设备
关键发现:

  • 82%的钓鱼网站专门针对移动设备
  • 独特的恶意软件样本同比增长13%
  • 76%的钓鱼网站使用HTTPS,给受害者一种虚假的安全感
  • 风险软件和木马占观察到的恶意软件威胁的80%

全球移动安全领军企业Zimperium今天宣布发布其2024年全球移动威胁报告,重点介绍了过去一年关键的移动威胁趋势。图片{ width=60% }


zLabs研究人员发现了“mishing”(也称为针对移动设备的钓鱼)的显着增长,这是一种采用特定设计来利用移动设备和用户漏洞的各种策略的技术。报告显示,82%的钓鱼网站现在针对移动设备。随着网络犯罪分子日益采用“以移动为先”的攻击策略,他们利用多种技术渗透企业系统,通过针对弱、不安全和未受管理的移动终端入口切入企业网络和敏感数据。

Mishing–企业面临的顶级威胁
网络犯罪分子正在精心设计攻击,以利用员工通常对其移动设备的信任。zLabs研究人员发现,76%针对企业的钓鱼网站使用HTTPS,这是一种安全通信协议,让受害者相信其设备上的网站是合法的。由于屏幕较小且安全指示较不明显(如隐藏的URL栏),员工不太可能注意到这些钓鱼尝试。

Mishing网站的成功在于它们的闪电式袭击方式,使网络犯罪分子可以迅速启动欺诈性域,然后在被发现之前让其消失,为首席信息安全官及其团队带来重大挑战。研究人员发现,大约四分之一的移动钓鱼网站在创建后不到24小时内就可以投入运行,几乎立即启动恶意活动。

“不可否认的是,在我们的组织中,移动设备和应用已经成为最需要保护的数字通道,”Zimperium首席执行官Shridhar Mittal表示。“在当今的数字时代,71%的员工利用智能手机进行工作任务,企业必须通过采用多层安全策略,包括移动威胁防御和移动应用审核,有效保护其移动终端。我们的zLabs研究人员仔细分析了移动攻击的性质,揭示了企业内的一个攻击面,需要战略性和以移动为中心的应对。”

Side加载应用带来的企业风险
除了mishing的增加,zLabs研究人员还揭示了Side加载应用的危险——即在设备上安装不来自官方应用商店的移动应用程序的惯例。金融服务机构有68%的移动威胁来自Side加载应用。事实上,zLabs研究人员发现,从事Side加载的移动用户其设备上恶意软件运行的可能性要比没有从事此操作的用户高出200%。风险软件和木马这两种伪装成合法应用的应用程序是最常见的发现的恶意软件家族。APAC地区在Side加载风险方面超过所有地区,43%的Android设备Side加载应用程序。

平台漏洞激增
在平台漏洞方面,2023年在Android和iOS中发现的公共漏洞暴露(CVEs)有所增加。zLabs研究团队在测试的Android设备中检测到1,421个CVE,较2022年增长58%。其中16个漏洞被实际利用,这意味着它们在现实世界中被利用,而不是在测试环境中。在测试的iOS设备中发现了269个CVE,增长10%,其中有20个被实际利用。

这些数据表明,iOS和Android设备并不是天然安全的,两个平台都存在着重大的漏洞增加。尽管Android更新频繁(2023年为24次,iOS为35次),企业发现难以跨所有设备管理更新,凸显了除了平台更新之外,需要积极采取的移动安全策略。

“mishing攻击和移动恶意软件越来越难以被检测,往往被企业忽视,”Zimperium高级产品管理副总裁Chris Cinnamo表示。“为了有效应对这一不断发展的移动威胁格局,企业安全团队必须优先考虑针对员工移动设备的攻击。没有积极的措施,这些攻击将继续渗透到企业中,利用敏感数据并破坏组织运营。”

其他关键发现:

  • 连接到不安全网络的企业设备数量增加了45%
  • 移动设备平均每年连接到风险网络17次
  • Microsoft是被仿冒的钓鱼网站中最多的品牌,占23%

这些发现都指向一个真相:保护移动设备不是可选的–它是数字安全的基石。通过建立健全的移动安全策略,企业可以填补其员工队伍中的差距,加强其移动安全姿态,并降低业务被破坏性网络攻击的风险。

方法论:为了全面评估本年度报告中突出的安全趋势对组织的影响,Zimperium分析了由Zimperium移动威胁防御、高级应用程序分析和zDefend保护的移动设备的匿名数据集。这一详细的分析涵盖了过去一年来全球各种设备的数据,涵盖了iOS和Android操作系统。

要获取完整报告–深入探讨mishing的性质、员工对移动设备的行为、Side加载应用的风险等–请访问此链接。

要了解Zimperium如何保护您的企业免受当今逃避性mishing和恶意软件威胁的影响,请联系我们。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

AMD Instinct MI300X加速器现已在OCI上面向苛刻的AI应用程序提供

Customers including Fireworks AI are powering their AI inference and training workloads with new OCI Compute instances
OCI Supercluster leads among cloud providers with support for up to 16,384 AMD Instinct MI300X GPUs in a single ultrafast network fabric
AMD(NASDAQ: AMD)今天宣布,Oracle Cloud Infrastructure(OCI)已选择AMD Instinct™ MI300X加速器与ROCm™开放软件来驱动其最新的OCI Compute Supercluster实例,名为BM.GPU.MI300X.8. 对于可以包含数百亿参数的AI模型,配备了AMD MI300X的OCI Supercluster支持在单个集群中最多可达16384个GPU,利用了OCI上其他加速器使用的同样超快网络结构技术。图片{ width=60% }


OCI裸金属实例设计用于运行需要高吞吐量、领先的内存容量和带宽的苛刻AI工作负载,包括需要高性能的大语言模型(LLM)推理和训练,这些实例已被Fireworks AI等公司采用。
“AMD Instinct MI300X和ROCm开放软件在为最关键的OCI AI工作负载提供支持方面不断获得动力,”AMD数据中心GPU业务公司副总裁兼总经理Andrew Dieckmann表示。“随着这些解决方案进一步扩展到增长的AI密集型市场,这种组合将使OCI客户受益于高性能、高效率和更大的系统设计灵活性。”
“AMD Instinct MI300X加速器的推理能力增加了OCI丰富的高性能裸金属实例选择,消除了常用于AI基础设施的虚拟化计算的开销,”Oracle Cloud Infrastructure软件开发高级副总裁Donald Lu表示。“我们很高兴为希望以具有竞争力的价格加速AI工作负载的客户提供更多选择。”
为AI训练和推理提供信赖的性能和开放选择AMD Instinct MI300X经过OCI验证的广泛测试强调了其用于服务延迟最佳化用例的AI推理和训练能力,即使使用更大的批处理大小,以及将最大的LLM模型放入单个节点的能力。这些Instinct MI300X性能结果已引起AI模型开发人员的关注。
Fireworks AI提供了一个快速平台,旨在构建和部署生成式AI。Fireworks AI利用OCI上AMD Instinct MI300X的性能优势,拥有超过100个模型。
“Fireworks AI帮助企业在各种行业和用例中构建和部署复合AI系统,”Fireworks AI首席执行官林乔表示。“AMD Instinct MI300X和ROCm开放软件上可用的大容量内存使我们能够根据模型的持续增长扩展为客户提供服务。”



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

Crusoe与VAST Data合作,在Crusoe Cloud上提供可扩展平台

**Crusoe宣布推出“Shared Disks”,这是一款由VAST Data平台驱动的新云存储产品。图片{ width=60% }


现在向所有Crusoe客户提供,为训练工作负载提供可达数百GBps的聚合读写性能的PB级文件系统。**
此合作极大增强了Crusoe的气候一致云,作为AI工作负载的可靠、可持续和具成本效益的解决方案。

Crusoe Energy Systems LLC(“Crusoe”)今天宣布,已与VAST Data合作,为Crusoe Cloud客户提供用于AI的新高性能存储产品“Shared Disks”,即日起可供使用。 Crusoe与VAST之间的合作将提供一个PB级文件系统,每个节点的读取速度可达每TB每秒200MBps,每个集群的聚合读取和写入带宽可达数百GBps。 使用VAST Data平台/VAST DataStore,Crusoe客户现在可以轻松访问专为大规模AI工作负载设计的NFS解决方案。 对于像AI训练这样的多GPU工作负载,客户可以使用Shared Disks确保它们都可以高效访问共享数据集。

“Crusoe选择了VAST Data平台,因为其非凡能力可以在扩展AI模型的同时提供客户所需的可靠文件存储,”Crusoe的首席产品官Patrick McGregor说。“通过VAST平台全天候存储客户数据,客户将有权利通过Crusoe Cloud完全构建和创新。由于他们技术的强劲表现以及杰出的团队,VAST是Crusoe和我们长期数据管理目标的自然合作伙伴。我们很高兴能与VAST合作,共同推进Crusoe将未来计算与气候未来对齐的使命。”

“利用VAST Data平台的动力,Crusoe的Shared Disks产品提供了现代化AI云基础设施,今天的企业需要解决数据密集型AI工作负载的挑战,”VAST Data解决方案副总裁Chris Morgan说。“我们共同提供了基于AI的解决方案,为那些希望转变其数据景观并加速其AI部署以推动创新和发现的组织提供速度、安全性和运营效率。”

Crusoe Shared Disks将向Crusoe Cloud客户提供以下功能:

  • 磁盘操作:客户可以使用Crusoe Cloud API、CLI、UI界面或使用Crusoe的Terraform提供程序创建、调整大小、挂载、取消挂载和删除共享磁盘。
  • 改进的性能:Crusoe Shared Disks为每TB存储提供高达每秒200MBps的读取吞吐量和40MBps的写入吞吐量。
  • 安全多租户:Crusoe Cloud与Shared Disks仅向组织中的单个项目提供,并具有强大的审计功能和静止加密,可提供安全服务给所有客户。
  • 细粒度的工作负载隔离:通过防止多租户I/O争用的粒度化服务质量策略,Crusoe Cloud Shared Disks从单个集群为AI工作负载提供客户所需的性能和数据访问,而不会受到其他租户的影响。
  • 可靠性:Crusoe Cloud Shared Disks提供与Crusoe Cloud GPU VMs同样出色的99.5% SLA,数据既受到硬件又受到组件故障的保护。

根据穆迪评级,数据中心的电力消耗预计在2023年至2028年之间每年增长23%,而AI特定的能源使用量预计在同一时期内每年增长43%。2022年,Crusoe推出了Crusoe Cloud,这是一个用于AI培训、推理和HPC工作负载的计算基础设施平台。 Crusoe的云平台由100%洁净、被遗弃或可再生能源供电,通过将数据中心与洁净能源来源相结合,降低计算的成本并减轻环境影响。这使得AI创新者可以在Crusoe的平台上以气候一致的计算解决方案解决全球最大的挑战。Crusoe目前拥有并运营一系列超过200兆瓦的数据中心,并计划快速扩展。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB