日本AI,失去的不止三十年

文章来源:远川科技评论

文|沈丹阳

编|陈彬

图片来源:由GPTNB生成

2019年,有两件事一直困扰着孙正义:软银的投资失败,以及日本科技的落后。

面对媒体,孙正义痛心地说道,科技产业几乎从日本消失了,我们正在成为一个被遗忘的国家。


即将到来的AI革命,是日本重回牌桌最后的机会。

随着ChatGPT问世,孙正义的呼吁终于成为了共识。然而,正当日本举国动员,准备一脚油门闯入赛道时,却发现了一个尴尬的事实:

日本目前的AI研究,非常依赖隔壁邻居为首的老外。

对此,RIKEN革新智慧综合研究中心负责人杉山将,曾做过一笔统计。

RIKEN(理化学研究所)是日本唯一的国家级科研机构,顶级头脑聚集地。汤川秀树等日本诺奖得主,都曾在这儿搞过研究。然而,那些被AI顶会收录的RIKEN论文,近一半的作者都隶属于外国大学,其中约一半的人来自中国.

图片来源

本土无人可用,使得日本在生成式AI浪潮里,始终处于失语状态。

然而,如若回溯历史,会发现日本也曾是个“AI超级大国”。

上世纪八九十年代,日本一度是深度学习的中心。杨立昆、余凯、林元庆、贾扬清等载入科技史册的泰斗级人物,都曾在日本的AI实验室度过一段青葱岁月。

曾经攥着一手王炸的日本,为何会迈向老无所依的结局?

站在日本人的肩膀上

上世纪80年代,正在读大学的杨立昆,被一群“疯子”吸引了。

彼时,深度学习是个“已被证伪”的技术路线。然而,仍有一小撮人在死磕,这其中就包括了一批日本科学家。杨立昆发现,当时大部分的深度学习论文,都是日本研究人员用英文写的。

这其中,对他影响最大的,是一位名叫福岛邦彦的日本人。

福岛邦彦

1980年,福岛邦彦参照猫的视觉结构,设计了一个叫做“神经认知机(Neocognitron)”的多层网络模型。

在生物的初级视觉皮层中,存在多个神经元,每个神经元只“掌管”一小部分视野。随后,神经元收集到的信息会统一传输到视觉皮层,组合成完整的视觉图像。

受此启发,福岛邦彦给神经认知机设计了“感知光照“和“运动信息”两个神经元,分别用来“提取图形信息”和“组成图形信息”。然而,福岛邦彦的神经认知机,存在一个致命问题:太超前了。

当时,主流的神经网络只有1层,但神经认知机有足足5层。

面对多层设计带来的种种问题,福岛邦彦一时找不到解决办法,导致神经认知机只能处理一些极其简单的工作。

图片来源

直到1986年,辛顿提出了“反向传播算法”,这个问题才有了标准答案。

但若向前追溯反向传播算法,会发现其源头仍是日本人。上世纪60年代,日本数学家甘利俊一提出的“随机梯度下降方法”,为其提供了技术灵感. 只不过囿于特定时代的局限,甘利俊一没有条件在计算机上进行模拟验证。

1988年,杨立昆将神经认知机与反向传播结合在一起,打造出了大名鼎鼎的卷积神经网络。直到今天,卷积神经网络仍是图像识别领域最重要的算法之一。

由此可见,这些定义一个时代的AI研究成果,都是站在日本科学家肩膀上实现的。

图片来源

实验室里的中国人

同一时期,日本的产业界,拉开了更为激进的历史篇章。

彼时,日本步入极度繁荣的泡沫经济时代。大型企业纷纷为爱发电,自掏腰包搭建中央实验室,发力基础科学。这其中,要数NEC(日本电器股份有限公司)最为激进:它直接切入美国科技产业腹地,将实验室开到了普林斯顿和硅谷。

财大气粗的NEC Lab,很快聚集了一大批日后响当当的名字。

西安交大软件学院院长、国家特聘教授龚怡宏,是第一个加入硅谷NEC Lab的国人科学家。在他担任实验室主任时期,延揽了一众青年才俊。

其中既有触发科技巨头竞拍辛顿的余凯,也有林元庆、徐伟等活跃在中国AI产业一线的技术大牛。

余凯

彼时,中国的计算机产业刚刚起步,吸纳不了那么多人才。硅谷NEC Lab无缝承接了这个需求,并招揽了大批立志从事AI研究的国人科学家。

余凯接棒硅谷NEC Lab主任一职后,又招募来了黄畅。当时,黄畅底下有一个名叫贾扬清的实习生。在NEC Lab期间,贾扬清展露出了高超的数学和工程代码能力,曾让实验室众人坚信其日后必有所造诣。

这种薪火相传的孵化线,在林元庆接手硅谷NEC Lab后仍在继续。

他引进的实习生谢赛宁,后来与麻省理工教授何恺明共同提出了著名的ResNeXt模型。2022年,谢赛宁还和OpenAI研究员Bill Peebles合著了论文《Scalable diffusion models with transformers》。

以这篇论文为基础,OpenAI打造出了视频生成模型Sora。

另一间位于普林斯顿的NEC Lab,同样招揽了杨立昆,以及支持向量机发明者Vladimir Vapnik等泰斗级人物。

可以说,历史上没有任何一家机构,能如NEC Lab这般,拥有此等高手如林的班底。

余凯曾在媒体专访中如此形容NEC Lab巅峰时期的影响力:如果你在谷歌上搜索美国NEC Lab,页面会立刻弹出一句话,你要不要来谷歌工作。

然而鼎盛时期风光无两的NEC Lab,却早已埋下了衰败的草蛇灰线。

2002年,杨立昆刚在普林斯顿进行了一年的研究工作,NEC就开始施压。

管理层毫不客气地告诉杨立昆,NEC对深度学习没有一丁点兴趣,并顺手解雇了当时的实验室主任。这段经历让杨立昆对产业界彻底失望,跑回纽约大学当起了老师.

杨立昆

NEC突然自毁长城,有两个不容忽视的现实原因:

一是人们对AI失去了信心。彼时,无论是芯片的算力,还是数据的丰富程度,都远不足以让深度学习发挥其潜力。与此同时,“第五代计算机”项目的失败,更是雪上加霜.

“第五代计算机”项目始于上世纪80年代,目标是打造AI驱动的超级计算机。

在日本的设想中,第五代计算机将具备回答问题、知识库管理、图像识别、代码生成等功能。这个“领先时代40年”的科研项目,一度将美国吓得不轻,立马掏出补贴与日本竞争。

如此一拍脑袋的项目,结局可想而知.

1992年,五代机项目正式宣告破产。日本不仅白白浪费了数亿美金,还把其他跟风的国家给忽悠瘸了. 一怒之下,人们将责任归咎于AI. 日后很长时间里,AI研究如同过街老鼠,人人喊打.

其次,日本的中央实验室模式,此时也出了问题.

日本企业对于NEC Lab等中央实验室的定位,是纯粹的基础科研机构。这种模式没有与市场和产业接轨,只是盲目追求多拿几个诺贝尔奖. 这让科学家们非常苦闷,内部时常调侃称“反正做的东西也用不到产品上”.

因此,当经济泡沫消失,日本进入失去的时代,毫无实际用处的中央实验室,理所当然地成了第一批“挨刀”的对象.

2009年-2020年间,NEC多次进行万人规模裁员,并大幅缩减研发经费.

在此阶段,中美科学家们纷纷选择自主创业,或另择良木而栖.

2012年,余凯受李彦宏邀请,领导百度的AI业务. 在他的号召下,徐伟、黄畅等NEC Lab的同僚,也先后加入百度. 后来,他们又跟着余凯一同创办了地平线.

日本花大力气点燃的AI火种,最终造就了今天中国AI的冲天火光. 2018年NEC第四次大裁员后,其美国实验室的技术中坚力量,几乎已流失殆尽.

图片来源

孤胆英雄

日本AI高歌猛进的步调,随着NEC美国实验室的落寞戛然而止.

全球人工智能的历史仍在继续,就好像五代机项目从未存在过一样;而曾经组建了全明星阵容的NEC Lab,也渐渐被淡忘. 在失去的三十年里,日本几乎没有在深度学习领域,留下任何一笔痕迹.

不仅如此,深度学习还在日本留下了根深蒂固的偏见.

2016年谷歌的AlphaGo击败了李世石,登上了全球科技新闻的头版. 这一年,中国诞生了528家AI企业,催生371起AI投融资. 从科学家到VC,都热情地谈论着深度学习的潜力. 然而,隔壁的日本,却是另一番风景.

同年,日本产经省也举办了一场全国人工智能大会. 有学者准备就深度学习提出两个企划案,却被同席的学术圈研究者提醒,“如果名字里加上深度学习的话,估计就没有人来听了吧”.

这种裹足不前的态度,是日本如今无人可用的重要诱因.

图片来源

唯一意识到问题的,正是软银集团的孙正义.

2017年,孙正义在推出全球最大私募股权科技投资基金(愿景基金)时,笃定地表示,该基金只会根据一项策略进行投资,就是AI.

接下来

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

特斯拉裁员后续:多项制造创新暂停,4680 电池目标缩水

过去一个月,每到周日,特斯拉员工都在等一封关于自己命运的邮件。收到了,他下周一就不用上班;没收到,他继续工作,等下周日的邮件。


4 月 15 日开启大裁员至今,已有超过 1.4 万人收到裁员邮件,离开特斯拉。不过本周日开始,特斯拉 4680 电池部门和电池材料部门的员工不用等邮件了。我们独家获悉, 特斯拉为 4680 电池部门任命了新的负责人博纳·埃格尔斯顿(Bonne Eggleston),他随后召开部门全员会,宣布暂停裁员,但必须在年底完成降本目标——特斯拉自产的 4680 电池要比向松下、LG 新能源等供应商采购的同类电池便宜。这与 2020 年 4680 电池发布时的目标已相距甚远。当时马斯克希望用新的结构和制造方式让电池成本降低一半,以此让特斯拉的车建立价格优势。4680 电池部门新负责人埃格尔斯顿此前担任 4680 电池高级总监,负责电池制造工程。就任后,他直接向马斯克汇报,同时兼管电池材料部门。在新任命前,特斯拉电池材料部门已裁员一半,备受重视的 4680 电池部门则裁员超过 20%,只剩 800 人左右。两位知情人士称,特斯拉高层在今年初就已提出 4680 部门的目标是让自产的电池比供应商更便宜。电池部门管理人员当时被告知,如果年底还无法实现这一目标,特斯拉可能会放弃 4680 项目。我们还了解到,特斯拉在上周裁撤了美国车型设计团队超过 50% 的人员,工程、工厂软件等部门也还在裁员。据媒体报道,整个特斯拉美国预计会在 6 月底之前再裁掉约 6000 人。目标缩水后,4680 电池竞争力有限。此次裁员之前,特斯拉营收下滑,汽车销售毛利率跌至 2017 年以来最…



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

特斯拉裁员后续:多项制造创新暂停,4680 电池目标缩水

过去一个月,每到周日,特斯拉员工都在等一封关于自己命运的邮件。收到了,他下周一就不用上班;没收到,他继续工作,等下周日的邮件。


4 月 15 日开启大裁员至今,已有超过 1.4 万人收到裁员邮件,离开特斯拉。

不过本周日开始,特斯拉 4680 电池部门和电池材料部门的员工不用等邮件了。我们独家获悉, 特斯拉为 4680 电池部门任命了新的负责人博纳·埃格尔斯顿(Bonne Eggleston),他随后召开部门全员会,宣布暂停裁员,但必须在年底完成降本目标——特斯拉自产的 4680 电池要比向松下、LG 新能源等供应商采购的同类电池便宜。

这与 2020 年 4680 电池发布时的目标已相距甚远。当时马斯克希望用新的结构和制造方式让电池成本降低一半,以此让特斯拉的车建立价格优势。

4680 电池部门新负责人埃格尔斯顿此前担任 4680 电池高级总监,负责电池制造工程。就任后,他直接向马斯克汇报,同时兼管电池材料部门。在新任命前,特斯拉电池材料部门已裁员一半,备受重视的 4680 电池部门则裁员超过 20%,只剩 800 人左右。

两位知情人士称,特斯拉高层在今年初就已提出 4680 部门的目标是让自产的电池比供应商更便宜。

电池部门管理人员当时被告知,如果年底还无法实现这一目标,特斯拉可能会放弃 4680 项目。

我们还了解到,特斯拉在上周裁撤了美国车型设计团队超过 50% 的人员,工程、工厂软件等部门也还在裁员。

据媒体报道,整个特斯拉美国预计会在 6 月底之前再裁掉约 6000 人。

目标缩水后,4680 电池竞争力有限

此次裁员之前,特斯拉营收下滑,汽车销售毛利率跌至 2017 年以来最低点,一季度销量同比下滑 8.5%,为 15 个季度以来首次。

特斯拉的困境与欧美电动车增速放缓、中国市场竞争加剧有关,但核心原因是产品断代。过去几年,特斯拉执着于大幅改造汽车生产方式,追求用领先的技术大幅降本,这是马斯克引以为傲的 “制造能力”。他曾在 2022 年说,特斯拉的核心竞争力就是制造能力。

4680 电池是特斯拉依靠技术降低制造成本的核心。2020 年,马斯克声称这款电池能降低电池 50% 的成本,前提是,特斯拉能攻克干法正极和负极工艺,正负极是电池成本最高的部件。

但截至今年 3 月,4680 电池的年产能只够装 6 万辆 Cybertruck,且成本远高于预期,特斯拉仍不能量产干法正极。

特斯拉现在选择认清事实,追求更简单的目标。今年初特斯拉管理层提出的明确考核标准是:到今年年底,特斯拉自产 4680 电池的成本要比 LG、松下等供应商的 4680 电池低。

数位 4680 电池工程师觉得这个目标可以完成。他们认为只要特斯拉不再执着自产干法正极,愿意从外部购买正极,集中精力提升产能、良率,摊薄成本,4680 电池项目大概率能在年底前达成降本任务。

特斯拉原三电负责人、4680 电池项目总负责人巴格里诺(Drew Baglino)的离职可能为执行上述策略扫清了障碍。

一位特斯拉工程师称,此前 4680 研发过程的一个分歧是,马斯克认为应该先做一款可用的电池再继续迭代,但巴格里诺坚持突破干法正极,而不是在过渡方案上优化制造效率。

接任巴格里诺的埃格尔斯顿 7 年前加入特斯拉,历任电池工程师和电池制造工程总监,此前在光伏制造业有十年工作经验。

接近该部门的工程师称,埃格尔斯顿接任后暂未对 4680 电池业务…



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

刚刚,a16z 领投了一家 3D 角色生成公司 Yellow,创始人曾是谷歌 CoreML 产品负责人

5 月 9 日,a16z 宣布 500 万美元领投 3D 角色生成公司 Yellow,创始人兼CEO Mandeep Waraich 曾是 Google 大模型以及 CoreML 产品负责人。

图片来源:由GPTNB生成

关于 Yellow 的这笔投资,a16z 认为尽管 2D 图像生成和控制取得了快速进展,但由于保持清晰的拓扑和需要大量中间表示(网格、UV 贴图、纹理、装备)等挑战,3D 仍然非常困难且昂贵,这种复杂性使得高品质 3D 制作极其耗费时间和技能,顶级角色模型需要数周时间,成本高达 1 万美元。


![生成式 AI 有望通过学习直接从高级描述映射到完全实现的、动画就绪的角色(其拓扑结构与艺术家风格一致)来解决这种复杂性,这可以从根本上降低高质量角色创建的成本和技能障碍,同时实现更大的规模、多样性和个性化。创始人 Mandeep 在深度学习以及艺术领域都有极高的专业度与热情,并成功吸引了全明星 3D AI 教授团队来帮助他实现共同的愿景,其中就包括 MIT 场景表示小组的领导 Vincent Sitzmann; Christian Rupprecht,牛津大学副教授,视觉几何小组成员; Ludwig Schmidt 是斯坦福大学计算机视觉小组的助理教授,他为 LAION 和 Objaverse 等最大的公共数据集项目做出了贡献。通过这些研究和实验室的成就,Yellow 团队的每个人都为高质量 3D 生成的核心构建模块做出了重大贡献。Yellow 与众不同之处在于专注通过 AI 来增强人类创造力,这并不”图片来源:由GPTNB生成](http://www.jesonc.com/Fm7yyaomc0axOAsOuOPd3HlSjA8s

Reference:https://yellow3d.com/



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

AI在用 | AI模拟器《换你来当爹》上线,「马斯克」10岁就被我练废

机器之能报道
编辑:山茶花

以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。
因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。


我们也欢迎读者投稿亲自实践的创新型用例。

继《哄哄模拟器》和《决战拜年之巅》后,AI 游戏界又来了个《换你来当爹》,剧情和对应图片全部由 LLM(大语言模型)实时生成,每个「儿子」成长生涯各不相同,情节和内容趣味不输类似养成类游戏。

领养海报别具风格,一张上世纪五六十年代画风的大字报上,一群咋看咋不靠谱的「高速运转孝子们」喊着「只要来的都是爹」。
更搞笑的是,每个孝子的人设都立得出其不意,武力统一大(2)班、参透量子斩获诺奖、淡泊名利发粪涂墙…… 各个精神状况堪忧。

入群二维码是这样的:「义父等您好久了,加个群吧」、「父筹者联盟欢迎您」,字里行间都充满着文案小编的卑微感。

就连公司名都够邪门 ——「上海狸谱科技有限公司」。「高耳机」、「胡布斯」、「发粪涂墙」、「父筹者联盟」,「狸谱」…… 这公司算是炸了谐音梗的窝了。

这款 AI 模拟器的游戏规则很简单,就是想方设法把一群逆子调教成「好大儿」。在关键的人生节点上,该游戏推荐两个选项,玩家通过左滑和右滑来进行选择,由此决定逆子们的人生走向。同时,玩家也可自定义输入,AI 会自动生成后面的人生剧本。

如果调教得好,孝顺值达到 88% 即可让他们喊一声「爸爸,您辛苦了!」,但要是让他们误入歧途,轻则全家遭唾骂,重则被气噶。(实不相瞒,我已经玩到怀疑人生:「上辈子造的什么孽,这辈子给这群逆子当爹」)

体验链接:https://lipu.badiya.cn/10/

上手体验:主打一个不顾爹的死活

打开官网链接,一上来就是「你想当谁的爹」,下方飘着一堆标签:不洗澡的上铺、疯癫的闺蜜、八卦的同桌、不扔垃圾的邻居、鼾声如雷的对象、吃饭逃单的兄弟…… 一看就知道,这个爹势必当得不容易。

伴随着一首复古的进行曲,我们输入好大儿「马斯克」的名字就正式开始「赛博养儿」游戏。游戏中的马斯克「出生设定」是「小区捡垃圾为生却乐在其中」,开局孝顺值为 12%。

出手就是王炸。「好大儿从出生起就不肯喝牛奶,除非你学狗叫」,我们果断选择「坚持原则,选择其他健康的辅食代替」后,结果让人大跌眼镜。好大儿饿了三天三夜,抱着狗粮边啃边说:「这狗粮,怎么越吃越香!」,孝顺值还降到了负数。

从小就不走寻常路的好大儿,1

1
Body内容含有图片链接,在Makedown中需要保留图片链接,请查看原文

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

你离5000万还有5天!百度文心杯创业大赛等你来

第二届百度“文心杯”创业大赛自4月16日启动以来,报名如火如荼进行中,现已收到数百份优质团队申请。报名通道将于5月15日24:00关闭。


倒计时5天,最高5,000万投资奖励,你准备好了吗?

大赛面向所有AI应用/大模型创业者,提供多重奖励及资源支持:

  1. 丰厚投资大礼:一等奖 1,000万 / 二等奖 500万 / 三等奖 200万价值的资金与资源投资!更设最高5,000万投资特别大奖,等你来拿!
  2. 赛程各环节及demo day免费提供全方位媒体曝光资源,助您扩展市场声量与影响力,链接优质客户、伙伴及市场资源!
  3. 一键对接资本市场,与顶级基金投资人面对面交流,更有机会获得更多投资人投资支持!
  4. 免费获取百度丰富的开发者工具和课程资源,更有机会成为百度AI应用生态合作伙伴,获得全方位业务合作扶持!

报名参赛详细信息:

Image



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

AlphaFold 3轻松应对核酸、脂类分子?科学家迫不及待地更新了评测

编辑 | 萝卜皮

「如果这可以重现的话,这就是我们所知的世界末日!功能建模的新时代已经开始。」欧洲分子生物学实验室(EMBL)的科学家 Jan Kosinski 发推文表示。


他在 AlphaFold 3 发布后,立刻用它做了一系列简单的测试,并把相关结果发在了 X 上。

「我取出了一个结构未知的转录因子,将其折叠起来,将其识别序列嵌入更长的 DNA 中。AlphaFold 3 准确定位了转录因子。」Kosinski 解释道。

他使用的转录因子:链接
使用的 DNA 序列:CAGGATCCTAATTATGGATCCTGTGTATCTTCAGT
他用的模型是:链接
他说:「一旦 AlphaFold 3 的开源副本可用并且运行良好,我们也许能够通过计算来预测所有转录因子的序列特异性。我认为那会很大,对吧?」

同时,严谨的 Kosinski 呼吁网友:「但如果有人检查我是否没有混淆,是否与其他转录因子一致,以及分数是否可以用于区分特定和非特定序列,我会很高兴。」

Kosinski 还做了其他实验。

视频链接:https://mp.weixin.qq.com/s/-T-c603cFN5BCmPk5M1JFg
第二天 Kosinski 又用限制性内切酶做了相关测试。

「它『不能』推广到我手中的限制性核酸酶。识别序列为青色,切割位点为红色。」他说,「但请注意:只有两个示例和长 DNA,有人可以尝试精确长度的序列并比较特定和非特定序列。」

「AlphaFold 3 无法正确预测限制性核酸酶 BamHI 的序列,尽管有 5 种结构可用,其中 4 种带有 DNA。」他发推文说,「左边是模型,右边是晶体结构。鉴于其中一些结构可能包含在训练和模板数据库中,这表明训练集中结构的存在并不能保证准确的预测。」

BamHI:链接

洛桑联邦理工学院(EPFL)的 Martin Pacesa 评论道:「可能是因为来自 MSA 的噪音!如果有太多 RE 同源物识别非常不同的目标序列,它可能会迷失在共同进化噪声中。」

Kosinski 对 Pacesa 的观点表示肯定:「是的,你可能是对的,REases 在它们的 MSA 中通常很少有相似的序列……或者当我在硕士期间研究它们时,它们就这样做了。」

网友 Evgenii 问道:「它『识别』了什么?」

「CAAGCTTG,它只是绑定了另一个回文序列(像回文序列这样的 REases,原始序列 GGATCC 也是一个回文序列)。」Kosinski 回复道,「我尝试对序列进行洗牌,但它仍然找到并绑定了另一个不完美的回文序列(GCACGC)。我想我们需要一个更好的『背景诱饵序列』」

「有趣的!AAGCTT 那是 HindIII。根据您迄今为止的经验,AlphaFold 3 如何处理较长的 dsDNA 片段?」维也纳大学 Max Perutz 实验室的 Pim Huis in ‘t Veld 发文评论说。

Kosinski 做了相关测试并跟帖道:「使用这种技巧在类脂膜双层内建模的候选新型大麻素受体,添加油酸(OLA)作为配体。」

相关内容:https://twitter.com/jankosinski/status/1788532231939453015

科学家 Karel Krápník Berka 则使用 AlphaFold 3 对膜上的脂质分子进行了研究。

「AlphaFold 3 还可用于预测膜位置。」他发文表示,「这是 CYP2E1 与油酸 (OLA) 的示例。这是与我 2013 年的 MD 膜模型和来自纳米圆盘的冷冻电镜进行对比。」

科学家 Kosinski 对 Pim Huis in ‘t Veld 发表的评论表示赞同。

后续成果,ScienceAI 还会持续跟进。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

马斯克Neuralink植入物出故障:受试者接线脱落

Neuralink 人体试验刚迎来100天,就被曝出故障了。

马斯克的脑机接口公司 Neuralink,在将设备植入人体后出故障了。


该公司在周三的一篇博客中透露,他们嵌入人类大脑的首个侵入式大脑芯片出现故障,神经元监视线似乎已从参与者的大脑中脱落。

目前尚不清楚是什么原因导致这些线从大脑中脱落,更不知道脱落了多少根连接线,这些移位线是否对人体构成安全威胁也没法评估。

尽管如此,也不耽误马斯克庆祝 Neuralink 第一次人体植入成功 100 天。

此前,Neuralink 宣称其侵入式植入设备包括 64 根柔性线,总共带有 1024 个电极,可以检测神经元活动。这些柔性线(据说比人的头发还细)由该公司专有的手术机器人植入人脑。目标是将柔性线放置在特定神经元附近,以便可以记录电极检测到的信号并将其解码为预期的动作,例如移动计算机屏幕上的光标。

今年 1 月,Neuralink 接待了其首位临床试验参与者 Noland Arbaugh, 他是一名因潜水事故导致肩部以下瘫痪已八年的 29 岁美国男子。当时 Arbaugh 手术进行得非常顺利,第二天他就回家了。

之前,Arbaugh 主要通过口含式平板电脑触控笔与人交流,这种设备必须由专业人员安装,但长时间使用会导致不适、肌肉疲劳和压疮等。

Arbaugh 表示:Neuralink 脑机接口技术可以让他躺在床上使用,非常舒适,而其他辅助设备必须由其他人帮助或必须坐起来才能使用。而长时间坐着会出现褥疮或痉挛。Neuralink 让 Arbaugh 可以按照自己的时间生活,而不需要有人整天帮忙调整身体等。

做完手术一个多月后,Arbaugh 就能以各种姿势控制笔记本电脑,包括躺在床上控制。他能玩游戏(甚至在游戏中打败了朋友)、浏览互联网、直播,并在 MacBook 上使用其他应用程序,所有这些都是通过用意念控制光标来实现的。

例如,仅使用脑机接口植入物玩国际象棋游戏:

甚至在任天堂 Switch 游戏机上玩马里奥赛车 —— 这是 Arbaugh 自脊髓受伤以来一直无法做到的事情。

工作日,Arbaugh 使用脑机接口的时间是 8 个小时,周末会超过 10 个小时。最近一次,他在一周内总共使用该设备 69 个小时:35 个小时用于结构化会话,另外还有 34 个小时用于个人使用。

然而,据《华尔街日报》本周报道,Arbaugh 大脑中未知数量的植入物柔性线发生了移位的情况。《华尔街日报》报道后,Neuralink 发布博客证实了该问题。

Neuralink 解释称:「Arbaugh 大脑中植入物的柔性线脱落,导致有效电极数量减少,影响了信息传输速率,丢失了部分数据。」

目前尚不清楚为什么这些柔性线会偏离原来的位置,但《华尔街日报》称消息人士说一种假设是手术后 Arbaugh 的头骨内滞留了空气,这种情况称为颅内积气(pneumocephalus)。熟悉 Neuralink 试验的消息人士称,在发现问题后考虑了移除植入物的可能。

Arbaugh 的安全似乎没有受到负面影响。但Neuralink报告称,植入物柔性线的偏离脱落降低了Arbaugh的BPS值,该值用于测量植入植入物的患者控制计算机光标的速度和准确度。

通过修改解码电极信号的算法,Neuralink 能够将 BPS 值恢复到柔性线偏离脱落之前的水平。根据 Neuralink 的说法,这些修改调整包括使植入物「对神经群体信号更加敏感」,改进将这些信号转化为光标移动的技术等。Neuralink 称,调整后 BPS 值有所改善并保持稳定。

去年 5 月,Neuralink 获得了美国食品药品监督管理局(FDA)的人体试验批准。按照 Neuralink 原本的计划,将在未来几个月内再进行两次植入试验,今年总共进行 10 次。但现在首次人体试验似乎出现了一些问题,计划是否有变动还未知。

参考链接:
https://arstechnica.com/science/2024/05/elon-musks-neuralink-reports-trouble-with-first-human-brain-chip/
https://neuralink.com/blog/prime-study-progress-update-user-experience/



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

在ICLR 2024这场演讲中,智谱AI首次公开神秘项目「GLM-zero」

在机器学习社区中,ICLR (国际学习表征会议)是较为「年轻」的学术会议,它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可,并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。


目前,ICLR 与 ICML、NeurIPS  并称为机器学习领域难度最大,水平最高的会议。从影响力上看,ICLR 长期处于 Google Scholar 全球所有学科中期刊、顶会的前十名。

今年,ICLR 已经来到了第十二届。5 月 7 日,ICLR 2024 在奥地利维也纳会展中心开幕。

或许是受到大模型技术浪潮的推动,无论是参会人数、论文提交量还是现场参会规模,ICLR 2024 的热度相比往年均有极大的提升。

从深度学习的兴起,到生成式 AI 带来的新一波浪潮,ICLR 算是见证了人工智能领域十多年来的发展史。在这个过程中,ICLR 也从第一届只有二十几篇接收论文的小型会议成长为投稿量超过七千的顶会。

大会首日的开幕式公布了 ICLR 2024 的一些数据和奖项:比如,在走过第一个十年后,ICLR 迎来了自己的首届时间检验奖,获奖研究《Auto-Encoding Variational Bayes》(VAE)对于今天深度学习和生成模型领域影响深远。

值得关注的是,本次大会上共有七场受邀演讲,Meta、谷歌等科技巨头悉数在列。

其中一场特邀演讲来自中国的 GLM 大模型团队,主题为《The ChatGLM’s Road to AGI》。这也是国内鲜有的,大模型相关 Keynote 登上全球学术顶会的讲台。

大模型时代,AGI 会加速到来吗?

在演讲中,GLM 大模型团队回顾了近年来语言模型领域的技术演进与方向碰撞。

大模型技术显著提升了 AI 在各种任务上的表现,例如自然语言理解和文本生成、图像处理、多模态建模,催生了大众对 AGI 的真切期待。从技术上说,这些神奇能力与模型的「智能涌现」分不开,而「涌现」的底层逻辑是「Scaling Law」。

Open AI 的 Jason Wei 2022 年在谷歌工作期间,与 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文,揭示了重要结论:当模型较小时,性能是随机的,一旦模型规模到达一定阈值,性能就会显著超越随机。一般来说,模型越大,能力越强。

对于这种由量变引起的质变现象,人们称之为「涌现(emergence)」。如果「涌现」是真实存在的,那么 AGI 的实现可以依靠模型体量的增加而逼近。

但斯坦福团队的一项研究却提出了相反的观点:大模型能力是否涌现与任务的评价指标强相关,并非模型行为在特定任务和规模下的基本变化,换一些更连续、平滑的指标后,涌现现象就不那么明显了,而是更接近线性。

「它有连续性,但没有能力涌现。」这项具有警示性的研究还获得了 NeurIPS 2023 最佳论文奖。

论文链接:https://arxiv.org/pdf/2304.15004.pdf

目前,学术界对上述命题仍然存在争论。不过,GLM 大模型团队今年 3 月的一篇论文从预训练损失的角度重新讨论了模型涌现能力 —— 只有当预训练损失低于某个阈值时,模型才具有该能力。这为此后的研究提供了新的视角:Loss 才是涌现的关键,而非模型参数。

论文地址:https://arxiv.org/pdf/2403.15796.pdf

在近来的大模型浪潮中,GLM 大模型团队备受关注。去年 6 月,在科技媒体 The Information 的盘点中,GLM 大模型团队所属的智谱 AI,被视为最有可能成为「中国 OpenAI」的 5 家企业之一。

从 GLM 大模型团队的下一阶段目标中可以看出,除了「涌现」命题,GLM 大模型团队对于通往 AGI 的路径还有很多思考。

GLM 大模型团队表示,文本仍然是最关键的基础,而下一步应该把文本、图像、视频、音频等多种模态混合在一起训练,变成一个真正原生的多模态模型,然后还可以开发面向现实任务的虚拟助理,甚至是以大模型为中心的通用计算系统。

在这一设想中,通用计算系统可基于已有的 All-Tools 能力,再加上内存记忆 memory 和自我反馈 self-reflection 能力,模仿人类的 PDCA 机制,即 Plan-Do-Check-Act 循环,最终实现自我提升。

与此同时,如何大模型拥有人类的「无意识」学习机制,也是 GLM 大模型团队在探索的方向。

「最有希望成为中国 OpenAI」的团队,如何瞄准 AGI?

自 2019 年成立以来,GLM 大模型团队便开始了大语言模型的探索,并选择走开闭源并存的发展路线。

在整体布局上,GLM 大模型团队已经完成了全面对标 OpenAI,从基座模型到对话、文生图、代码、检索增强和视觉模型,包括 GLM、ChatGLM、CogView、CodeGeeX、WebGLM 以及 GLM-4V。这些模型的预训练过程中少不了针对中文语料的大量优化,这也是国产大模型发挥本土化优势的关键。

GLM 大模型团队在 2020 年后开始显现成果。从研发 GLM 预训练架构、到训练完成百亿参数的 GLM-10B、再到 2022 年千亿参数超大规模预训练模型 GLM-130B 的诞生,他们开始围绕这一强大的基座模型持续深拓。

2023 年 3 月,与 GPT-4 同一时间,GLM 大模型团队推出了基于千亿基座模型的对话模型 ChatGLM,理解用户、遵循指令、回答问题的效果显著提升。同时选择开源中英双语对话模型 ChatGLM-6B,实现单张消费级显卡上的本地部署。随后的 6 月和 10 月,GLM 大模型团队又迎来第二代和第三代 ChatGLM,保持三到四个月一次的模型迭代频率。

随着今年初新一代基座大模型 GLM-4 的到来,GLM 系列模型实现了性能比肩 GPT-4,自然语言、多模态、Agent 能力全方位提升的同时推理速度更快、成本更低。

目前,GLM 系列大模型的研究成果已经涵盖了数学、文生图、图像理解、视觉 UI 理解、Agent 等领域。以 ChatGLM-Math 为例,该模型通过独特的「Self-Critique」迭代训练方法和自我反馈机制,实现了 LLM 的数学能力的进一步强化。

论文地址:https://arxiv.org/pdf/2404.02893

与此同时,CogView 文生图模型、CodeGeeX 代码模型、CogVLM 多模态理解模型、GLM-4V 多模态大模型和 All-Tools 功能以及 AI 助手智谱清言也在持续进步,比如基于 CogVLM 开发的具有视觉 Agent 能力的模型 CogAgent、更快更精细的文生图模型 CogView3、让多模态模型具有操作链的通用视觉语言模型 CogCoM。

快速迭代的大模型能力,让研究者们更加期待 GLM 大模型团队未来的进一步动作。在演讲中,GLM 大模型团队深入解读了 GLM 系列大模型下一阶段面向 AGI 的三个探索方向。

第一,GLM-4 的后续升级版本,即 GLM-4.5 及其升级模型,它们将基于超级认知 SuperIntelligence 和超级对齐 SuperAlignment 技术打造。

在持续提升文本能力的基础上,GLM 大模型团队计划将文本、图像、视频、音频等多种模态混合在一起训练,构建真正原生的多模态模型,同时超级对齐 SuperAlignment 技术协助将提升大模型的安全性。

第二,提出 GLM-OS 概念,即以大模型为中心的通用计算系统,旨在解决更加复杂的问题。

在 ICLR 现场,GLM 大模型团队详细阐述了 GLM-OS 的实现方式:基于已有 All-Tools 能力加上内存记忆 memory 和自我反馈 self-reflection 机制,GLM-OS 有望实现模仿人类的 Plan-Do-Check-Act 循环。首先做出计划,然后初步尝试形成反馈,基于反馈结果调整规划,然后再行动以期达到更好的效果。大模型依靠 PDCA 循环机制形成自我反馈和自我提升 —— 恰如人类自己所做的一样。

第三,GLM 大模型团队在现场首次公开了名为「GLM-zero」的技术项目。

这一项目是在 2019 年开展的,旨在研究人类的「无意识」学习机制。该机制是人类认知能力的重要组成部分,包括自我学习 self-instruct、自我反思 self-reflection 和自我批评 self-critics。

「当人在睡觉的时候,大脑依然在无意识地学习。」GLM 大模型团队表示,人脑中存在着反馈 feedback 和决策 decision-making 两个系统,分别对应着大模型和内存记忆两大部分,GLM-zero 的相关研究将进一步拓展人类对意识、知识、学习行为的理解。

GLM 大模型团队认为,尽管还处于非常早期的研究阶段,但 GLM-zero 可以视为通向 AGI 的必经之路。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

德国特斯拉工厂遭800名抗议者试图冲击

抗议者反对美国电动汽车制造商特斯拉在柏林附近Grünheide工厂的扩建计划,并在周五试图冲击该设施,与警方发生冲突。


据组织者Disrupt Tesla称,大约有800人参加了抗议活动,他们声称这一扩建将破坏环境。视频显示,数十名身穿蓝色帽子和口罩的人来自附近的树林地区,试图冲击该公司的场地,警察试图阻止他们,并采取了强硬手段,至少一名抗议者被拘留。 “为什么警方让左翼抗议者如此轻易逃脱呢?” 特斯拉CEO埃隆·马斯克在他的社交媒体平台X上写道,并补充说抗议者没有设法闯入。据Disrupt Tesla发言人奥勒·贝克(Ole Becker)称,该组织还希望关注类似阿根廷或玻利维亚的锂矿开采所带来的环境破坏,锂是电动汽车电池的关键资源。 “我们今天在这里是为了关注Grünheide的特斯拉工厂的环境破坏,” 贝克告诉路透社。警方证实,抗议者试图进入工厂场地,但被阻止,并有几人被拘留,警方收到了一些受伤报告。 “我们保护集会自由,” 勃兰登堡警方发言人马里奥·海涅曼说, “但我们也负责公共秩序和安全。这意味着必要时我们也会进行干预。” 警方发言人补充道,一些示威者在附近的汽车储存地点,使用了爆炸物和油漆破坏了一些特斯拉汽车。特斯拉本周早些时候表示,将于周五关闭工厂一天,但未说明原因。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB