CoreWeave的创新Mission Control平台提供高性能的AI基础设施，具有高系统可靠性和韧性，使客户能够大规模使用NVIDIA H200 GPU加速其生成式AI应用程序的开发。{ width=60% }

---

CoreWeave，AI超大规模服务提供商，今日宣布成为首家将NVIDIA H200 Tensor Core GPU引入市场的云服务提供商。CoreWeave已经证明在大规模AI基础设施领域率先推出，曾是首批提供大规模NVIDIA H100 Tensor Core GPU集群并采用NVIDIA Quantum-2 InfiniBand网络互连的公司，该集群于2023年6月刷新了MLPerf训练记录。如今，CoreWeave的基础设施服务被用于训练来自Cohere、Mistral和NovelAI等客户的最大型和最雄心勃勃的模型。

NVIDIA H200 Tensor Core GPU旨在通过提供4.8TB/s的内存带宽和141GB的GPU内存容量来推动生成式AI的边界，从而实现比H100 GPU高达1.9倍的推理性能。CoreWeave的H200实例将NVIDIA H200 GPU与Intel第五代至强（Emerald Rapids）CPU和3200Gbps的NVIDIA Quantum-2 InfiniBand网络相结合，并部署在拥有最多42,000个GPU和加速存储解决方案的集群中，以提供强大性能，并使客户大幅降低训练其GenAI模型的时间和成本。

CoreWeave的CEO兼联合创始人Michael Intrator表示：“CoreWeave致力于推动AI开发的边界，并通过我们与NVIDIA的长期合作，率先推出了与NVIDIA H200 GPU结合的高性能、可扩展和韧性基础设施。这种GPU与我们的技术结合，使客户能够以前所未有的效率解决最复杂的AI模型，并实现新的性能水平。”

CoreWeave的Mission Control平台通过软件自动化管理AI基础设施的部署和运行时间，提供客户无与伦比的可靠性和韧性。该平台通过使用先进的系统验证流程、积极的车队健康检查和广泛的监控功能，帮助客户更快、更高效地训练模型。CoreWeave丰富的可观测工具和服务套件在所有关键组件上提供透明度，赋予团队维护不间断的AI开发流程的能力。这意味着降低系统停机时间、更快的解决方案时间和更低的总体所有权成本。

NVIDIA副总裁兼超大规模和HPC部门负责人Ian Buck表示：“CoreWeave在迅速高效地部署NVIDIA技术方面有着成功的记录，确保客户拥有最先进的技术来训练和运行生成式AI的大语言模型。搭配NVLink和NVSwitch以及增加的内存容量，H200旨在加速最苛刻的AI任务。配合由Mission Control驱动的CoreWeave平台，H200为客户提供了先进的AI基础设施，将成为行业创新的支柱。”

除了将最新的NVIDIA GPU引入市场并拓展其云服务组合外，CoreWeave正快速扩大其数据中心运营以跟上对其行业领先基础设施服务的需求。自2024年初以来，CoreWeave已完成了9个新的数据中心建设，另有11个正在进行中。该公司预计年底将在全球拥有28个数据中心，并计划在2025年新建10个数据中心。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：中国企业家杂志

---

“市场有需求，宇树才做。”

文｜《中国企业家》记者 赵东山
编辑｜姚赟

原地摸高、旋转下楼、比心、跳科目三、跑酷……2024世界机器人大会中，宇树科技的机器人再次成了全场的显眼包。

---

今年5月，这家来自杭州的公司，发布了人形机器人G1。该机器人身高约127厘米，体重约35公斤，拥有23至43个关节，可以完成动态站起、坐下折叠、舞棍等高难度动作。

更关键的是，G1的售价仅为9.9万元，这也是双足机器人价格首次被打到10万元以内，比以往便宜了超 80%。3个月后，2024世界机器人大会期间，宇树再次推出了G1量产版本。

这家由来自浙江宁波的90后王兴兴创办的机器人公司，正越来越多受到全球科技圈的关注。在此之前，宇树科技的机器人多次与黄仁勋同台出现在英伟达的GTC大会上，而英伟达也是其采购商之一。

宇树科技的机器人还频频亮相全球重大活动赛事，比如2021年的央视春晚、2022年冬奥会的开幕式、2023年Super Bowl（超级碗）的赛前表演上，均能看到这家公司的身影。

2016年，宇树科技成立，最初专注于研发四足机器人。2023年初，宇树科技立项人形机器人产品，并在同年推出了首款通用人形机器人产品宇树H1。“去年下半年，我们人形机器人已经全球发货了，今年也已经接了不少订单，某种程度上我们今年的人形机器人卖得也挺多的。”王兴兴告诉《中国企业家》。

过去8年，宇树科技共获得8轮投资，既包括像红杉中国、初心资本、顺为资本、经纬创投等这样的头部财务投资方，也有像美团、海克斯康这样的产业投资方。2024年2月，宇树科技完成了近10亿元B2轮融资，美团成为该公司的最大股东。

偏科的天才

王兴兴从小就喜欢钻研科学、物理、化学、生物等各种问题，并展现出不俗的动手能力和天赋。他至今都记得幼儿园时画的第一幅画，画的是一只蝴蝶，但细节的精细程度让父母和老师都感到震惊。同时，从小学开始，他就动手制作很多东西，完成度在学校中也数一数二。

然而，画画、做手工这些技能，他都没有系统学过，全靠自己观察。他轻描淡写地告诉《中国企业家》：“其实要做好，比较简单，你只要细致一点就行了。”

王兴兴是1990年生人，小学时，他最期待的时间就是每天傍晚7点。一到7点，他就守在电视机旁边看科教节目，那时电视台引进了一系列包括生物、太空、化学、机器人等内容的纪录片。“大家可能想不到，波士顿动力在MIT实验室那台机器人，我差不多在10岁左右就在电视里看过了。”王兴兴回忆。

王兴兴称，他从小英语不好，语文也非常一般，所以他只有在画画和动手做东西时才会有非常大的成就感，而这样的正反馈让他在动手制作方面的能力越来越精进。

王兴兴本科就读于浙江理工大学，大四考研时，虽然总分达到了浙江大学的分数线，但是因为英语单科成绩未能达到要求，最终进入上海大学。

但是这并不妨碍他在动手制作机器人方面的天赋。上海大学读研期间，在没什么预算的前提下，王兴兴一人从头设计硬件、控制算法，搭配工业电机做出机器狗XDog。后来，该机器狗拿到上海机器人设计大赛二等奖，奖金8万元，但研发成本不到2万元——这是王兴兴赚到的第一桶金。

通过这次比赛，还是研究生的王兴兴认识了一些投资人。他尝试着去找对方谈过投资，但是都被拒绝了。后来，王兴兴就加入大疆工作。

2016年6月，入职大疆不久，王兴兴设计的机器人在国内外科技圈火了一把，当时忽然有人愿意买他的机器人，也有人愿意投资。最终，王兴兴离开大疆，创办宇树科技独自创业，“取名宇树，就是希望用各种各样的科技，推动整个人类的进步，帮人类点亮科技树。”王兴兴表示。

极致成本

宇树科技的机器人备受行业关注的特点之一，就是在保证性能的前提下还能做到足够低价。目前，宇树的四足机器人最低可以卖到9000元一台。“价格更友好，产品才有更多人买，才能在全球范围内推动行业进步。”王兴兴表示。

王兴兴很喜欢比亚迪的成本管理。因此在机器人的设计阶段，他和团队就开始做降成本的准备，比如每个零部件要如何做得更简化，能不能用性价比更高的材料，以往的行业设计路径一定是最科学的吗？

除此之外，虽是90后，但王兴兴已在机器人设计、制造、量产方面累积了多年经验。从2013年研究生期间研发四足机器人开始，到2016年创业制造和量产机器人至今，王兴兴对于机器人关节电机的生产、整体机械结构、传感器、整个电控系统芯片等方面，都积累了多年的经验和心得。“零部件精度要求很高，都是0.01个毫米起步考虑的。”王兴兴告诉《中国企业家》。

在王兴兴的硕士毕业论文成果发表时，初心资本合伙人许旸洋就关注到了他。但令许旸洋感到惋惜的是，因为当时王兴兴刚毕业，再加上其能力比较偏技术，与他心目中综合型CEO的画像有差别，因此初心资本是在2019年底宇树的Pre-A+轮融资时才投资，而未能在更早投资宇树科技。

过去几年里，许旸洋聊过很多机器人创业团队，早期主要是一些高校科研院所的团队。他发现大部分团队会比较追求极致的单点性能，比如电机的扭矩、机器人的负载等等，参数层面很厉害，但只停留在能实现就可以了。

“但王兴兴的思路不一样，他很极客，也很极致，在整机的设计优化、稳定性测试、量产等方面，明显优于其他团队。一方面宇树的商业化比较早，经历较多反馈和迭代；另一方面，他的系统化工程能力更强，在生产侧投注的精力也比较多。”许旸洋说。

2023年开始，宇树科技开始入局人形机器人领域。但在王兴兴看来，四足机器人和人形机器人，其实很多的设计都是非常类似的，一部分团队也可以公用，而这也是宇树人形机器人可以卖到9.9万元的…

Material Source: Aixin Zhijie

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

又有AI初创公司创始人卖身大厂——
亚马逊刚刚官宣，从机器人AI系统初创公司Covariant挖走了三名联创。
三人分别是Pieter Abbeel、Peter Chen（陈曦）和Rocky Duan（段岩），创业之前都是OpenAI的研究员。

---

其中，Pieter Abbeel是强化学习届的大牛、吴恩达教授带的第一位博士生。
一同被打包带走的还有1/4的员工，公司研发的模型技术也被授权给了亚马逊。

从大厂出走创业的大牛，创业成果又被大厂吸收，已经成为了一种新的趋势——

• Transformer“贡献最大”作者Noam Shazeer，创立Character.AI后，重新回到了谷歌
• DeepMind联创Mustafa Suleyman，创办了Inflection AI，最新动态是被挖到了微软
• Transformer一作参与创立的Adept，大量高级员工也被亚马逊挖走

在这样的趋势当中，大厂究竟扮演了怎样的一种角色？
有人说，是变相收购。

四分之一员工加入亚马逊

先从刚刚被挖走三名联创的Covariant说起。
2017年，Pieter Abbeel与他的三名华裔博士生——陈曦、段岩和Tianhao Zhang（张天浩），一同创立了Covariant，主要研究的是用于机器人的AI系统。
Pieter Abbeel是斯坦福计算机博士，是吴恩达带的第一位博士生，从2008年前至今兼任UC伯克利教授，2016-2017年在OpenAI从事研究。
另外三人都是Pieter的学生、UC伯克利计算机博士，其中陈曦和段岩同样在2016-2017年于OpenAI从事过研究，张天浩则有一段读博期间在微软实习的经历.

从左至右：Pieter、陈曦、段岩和张天浩

基于Transformer架构，Covariant研发出了适用于机器人的大模型RFM-1，拥有80亿参数，训练数据由其自己部署的机器人收集得来。
RFM-1支持自然语言交互，无需编程就可以在几分钟内快速引导机器人的行为。
截至今年四月，Covariant已完成C轮融资，所有轮次加起来一共获得了2.22亿美元（约15.8亿人民币），估值达6.25亿美元。
谷歌首席科学家Jeff Dean，斯坦福著名教授、“AI教母”李飞飞，深度学习三巨头之二的LeCun和Hinton都曾投资过Covariant，比尔盖茨也参与过其C轮融资。

直到现在，Covariant有四分之一员工都被亚马逊招致麾下，四名联创中除张天浩外均在此列。

Covariant被挖走的员工入职亚马逊后，将继续进行智能机器人研究，给亚马逊的机器人开发AI系统。
另外，作为协议的一部分，Covariant之前研发的AI模型，也会授予亚马逊非独家许可。

而Covariant这边，原COO Ted Stinson将出任新CEO，与剩下的联创张天浩一起继续运营公司。

巧合的是，刚好在一个月之前，亚马逊被曝出了对Covariant的收购意向。

挖人还是变相收购？

Covariant不是被亚马逊挖角的第一家初创公司，Transformer一作创立的AI初创公司Adept，几个月前也出现了类似的经历。

不过Adept的情况更复杂些——在被亚马逊挖走大量高级员工之前，三名联创中就有Transformer一作Ashish Vaswani和另一名作者Niki Palmer两人选择另起炉灶，创立了办公自动化公司Essential AI。

仅剩的联创David Luan则没有加入亚马逊，而是继续留在Adept。

今年5月Adept就被曝寻求收购，据悉当时还和Meta进行过接触。

The Verge副主编Alex Heath在一篇文章中直言，亚马逊此举实际上就是变相收购，并且亚马逊的动作也引起了市场监管部门的注意。

但亚马逊并不认为这是一项收购，表示“对拥有Adept的业务和技术不感兴趣”。

同时引起注意的，还有更早之前微软对Inflection AI的行动，这家公司由DeepMind联创Mustafa Suleyman创立。

今年3月，微软和Inflection达成协议，Inflection将把技术授权给微软，创始人Mustafa Syleyman和Karén Simonyan成为微软成员，直接领导一个新部门Microsoft AI。

同时Inflection的大部分员工也一同加入微软，Inflection的对话聊天机器人Pi也在逐渐被关停。

更近一些的，还有Transformer“贡献最大”作者Noam Shazeer创立的明星AI独角兽Character.AI。

包括Noam和另一名创始人Daniel De Freitas在内，整个核心团队都被Noam的老东家谷歌打包带走。

不收购，但是挖来了核心人员，也获得了技术，这几次事件的剧本如出一辙。

被“变相收购”之后，这几家公司虽然名义上保持独立运行，但实际情况却并不乐观。

比如Adept，虽然所有权关系没有发生改变，但有投资者表示要收回投资。
Character.ai，也刚刚被The Information爆料要裁掉120名左右员工中的5%。

总之，这些初创公司（或者说其创始人）选择投身大厂，或多或少都是因为面临了资金压力。
但在核心人员纷纷加入大厂之后，初创企业面临的运营压力似乎变得更大了。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：数字生命卡兹克

智谱今天下午在KDD 2024上面，悄咪咪的上线了一堆的超级更新。

---

我真的服了，我本来今天从泰国回来，准备休一天假的，结果晚上又坐在电脑面前被迫营业。
他们总是每次，静悄悄的就把4个2给扔出去了。
嗯，就一场演讲了，发布了一堆新模型还有新功能，个顶个都很猛。
我挨个列一下：
大语言模型GLM-4-Plus。
图像和视频理解模型GLM-4V-Plus。
AI绘图图模型CogView-3-Plus。
智谱清言上线“视频通话”
而且，这些新模型，已经全部上线了他们的开发者平台，现在，开发者已经可以直接调用API去进行开发了。。。

至于上线到智谱清言上面给普通消费者用，可能还得几天，我线上试了一下还都是老模型，毕竟模型太多了，这切换上去估计也费点时间。。。

说实话，我懵逼了，也麻了。
智谱AI就一直都是很这种地主家的傻儿子的感觉，这但凡是OpenAI，发这么多东西，必须让你先猜谜语3天，跟你玩个大反转。。。
一个一个说下：
GLM-4-Plus
全新的模型，看了下跑分整体基本上正儿八经的追平了GPT4o，而且智谱这家公司是很实诚的那种，真的不如就是不如，真的超过就是超过，不弄虚作假，所以这个跑分还是非常可信的。

AlignBench（对齐和遵循指令能力）还有MATH（数学能力）基本跟GPT4o打平，GPQA（小学问题）和LCB（代码）这块能打平GPT4o但是跟Claude 3.5还是有一些差距，Claude 3.5实在是太强了。
长文本这块，能力基本是打平或者超越。

我也去后台跑了一下GLM-4-Plus，效果确实是比之前强了。
至少之前我测试的那个很坑爹的调休问题：这么多AI大模型，就没一个能算清今年这破调休的？
基本所有的大模型都全军覆没，只有Claude3.5能连续答对5次。
而新的GLM-4Plus，这次居然也连续答对5次了。
很强，很猛。
而这个经典的动物过河问题：“农夫需要把狼、羊和白菜都带过河，但每次只能带一样物品，而且狼和羊不能单独相处，羊和白菜也不能单独相处，问农夫该如何过河。”
GLM-4-Plus也是3次连对，这道题之前也是所有的大模型全军覆没，甚至Claude3.5都错了。
很强，非常强。
而价格这块，算不上便宜，中规中矩价格吧，比Claude3.5贵。

GLM-4v-Plus
终于支持视频理解了，这点很强，而且很爽。也可以直接理解网页内容，然后转换为 html 代码。
基本每项都能超Glaude和GPT4，但是唯独MMMU-Val（多模态和多任务理解能力方面表现的基准测试）拉了，还有很大的进化距离。

功能这块也是最齐全的。
我在后台跑了下。
图片理解没啥问题。
但是后台有个小BUG，就是明明支持视频理解了，但是后台的测试不支持视频上传。
就很坑。
价格这块，也不算贵。
毕竟这也算是国内首个通用视频理解模型 API。

CogView-3-Plus
他们也终于更新了新的绘图模型，说是有了大幅进化。
但是我实际测下来，嗯坦率的讲，离Flux、Midjourney这种肯定还有不少距离，但是至少在美感上，智谱的这个AI绘图模型是比以前进化很多了，容易不再是偏理工的审美了。。
放几张我在后台跑的图。
能看了。

智谱清言“视频通话”
我因为某些奇怪的关系，所以智谱的很多内测，我基本都会第一批拿到。
那这个智谱清言的“视频通话”，我也是今天发现，我能直接用上了。
在我打开摄像头，看着自己出现在视频里，和小智对话的那一刻。
次元壁感觉破了。
“你好，我是小智。很高兴见到你！”虚拟助手的声音从扬声器里传来。
这感觉真奇妙啊。以前和AI聊天，总觉得它是个看不见的“幽灵”。现在突然多了个“眼睛”，让AI更“真实”了。
我随手跟他聊了聊。
这应该也是国内第一个类GPT4o的视频通话功能。
可以标记，不过可惜的是声音能明显的感觉到是极低延时的TTS，在实时对话中是可以打断的。但是依然不会唱歌，没有太明显的情绪。
但是这种随时可以打断，并迅速切换话题的能力，在GPT4o还是个大期货的状态下，还是很有用的。
有趣，而且够实用，时间不够，没有太多的去玩，等我后续好好再体验一下。
但是体验上视频理解能力还不是完全体，有一些问题，好像视频理解能力没有上最强的，我期待一下后面的更新。
大多数用户应该都还没拿到，如果想用的，可以用这个链接里扫码申请，应该会很快：https://zhipu-ai.feishu.cn/share/base/form/shrcnqpIx9q5ILEFeT2cPNhyuSf

写在最后
智谱这家公司，在我心中一直都是一个很特别的存在。
就像那种在少林寺中的扫地僧，经常默默的干活，不时给你来个大的。
而且，不只是一个概念产品或远期目标，而是已经可以投入使用的实际技术。
这种“直接拿出真东西”的做法，展现着我们的态度。
再看看大洋彼岸。
每天拿着虚无缥缈的草莓再营销的公司。
嗯，我还是喜欢我们，自己家的东西。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：数字生命卡兹克

智谱今天下午在KDD 2024上面，悄咪咪的上线了一堆的超级更新。

---

我真的服了，我本来今天从泰国回来，准备休一天假的，结果晚上又坐在电脑面前被迫营业。
他们总是每次，静悄悄的就把4个2给扔出去了。

智谱清言上线“视频通话”，这些新模型已经全部上线了他们的开发者平台，现在，开发者已经可以直接调用API去进行开发了。

至于上线到智谱清言上面给普通消费者用，可能还得几天，我线上试了一下还都是老模型，毕竟模型太多了，这切换上去估计也费点时间。

GLM-4-Plus、GLM-4V-Plus、CogView-3-Plus、智谱清言“视频通话”等一系列新模型发布。GLM-4-Plus是一大亮点，能力基本追平了GPT4o，而GLM-4v-Plus支持视频理解，功能齐全。CogView-3-Plus更新了AI绘图模型。

整体效果比之前强了，GLM-4-Plus、GLM-4v-Plus、CogView-3-Plus均有不错的性能表现。智谱AI展示了强大的技术实力，为开发者提供新的工具和功能。

智谱AI持续给人们带来惊喜，这次推出的多个新模型和功能展现了他们在人工智能领域的深厚技术底蕴。让我们期待智谱AI在未来的发展中继续创造更多的惊喜和创新。

图片来源：由GPTNB生成

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

编辑 | 萝卜皮

意外的药物相互作用 (DDI) 是药物研究和临床应用的重要问题，因为其极有可能引发严重的药物不良反应或药物停药。

虽然许多深度学习模型在 DDI 预测方面取得了很好的成果，但模型可解释性以揭示 DDI 的根本原因尚未得到广泛探索。

---

福州大学、福建医科大学第一附属医院以及元星智药的研究人员提出 MeTDDI——一种深度学习框架，具有局部-全局自注意力和共同注意力，用于学习基于主题的 DDI 预测图。

关于可解释性，研究人员对 73 种药物（13,786 个 DDI）进行了广泛的评估，MeTDDI 可以精确解释涉及 58 种药物的 5,602 个 DDI 的结构机制。此外，MeTDDI 显示出解释复杂 DDI 机制和降低 DDI 风险的潜力。

MeTDDI 为探索 DDI 机制提供了一个新的视角，这将有利于药物发现和多重用药，从而为患者提供更安全的治疗。

该研究以「Learning motif-based graphs for drug–drug interaction prediction via local–global self-attention」为题，于 2024 年 8 月 27 日发布在《Nature Machine Intelligence》。

由于老龄化和多重疾病，药物组合或多重用药被广泛使用，并可能对公共卫生和经济造成影响。尽管多重用药具有治疗效果，但存在发生意外药物间相互作用 (DDI) 的风险，这可能导致严重的药物不良反应 (ADR) 甚至停药。

因此，提前预测 DDI 将会对药物研究和临床环境带来巨大好处，从而提高药物安全性并保护患者健康。通过体外和体内实验进行 DDI 评估很有用，但成本高、耗时且费力，阻碍了大规模 DDI 筛选的实用性。

如今，深度学习模型已成为高通量准确 DDI 预测以及根本原因解释的有前途的替代方案。

在最新的研究中，福州大学、福建医科大学第一附属医院以及元星智药的研究团队重点关注代谢介导的药物相互作用（MMDDI）的预测，并提出了基于分子结构的深度学习框架 MeTDDI，用于预测 MMDDI。

该方法主要用于解决 DDI 预测中的三个挑战：(1) 学习分子内和分子间亚结构相互作用，(2) 预测 DDI 相关的药物代谢，(3) 广泛提供和评估模型的可解释性。

受益于局部-全局自注意力和共同注意力结构，MeTDDI 可以有效地学习基于基序的图内/图之间的分子内和分子间子结构相互作用，从而进行 DDI 推理。

评估结果表明，它在分类和回归任务中都取得了与基线相比具有竞争力的性能。MeTDDI 还可以准确识别药物（perpetrator 或 victim）在 DDI 中的机制作用，并量化 perpetrator 对 victim PK 的影响，这对药物研究和临床应用都非常有益。

关于模型的可解释性，MeTDDI 展示了识别与 DDI 相关的关键机制子结构的能力。

首先，MeTDDI 可视化的关键子结构与文献中对 73 种代表性化合物（具有 13,786 个 DDI 对）的分析中报道的关键子结构大致匹配。

其次，研究人员评估了 MeTDDI 以及两个最先进的模型（即 CIGIN 和 CGIB）的模型可解释性。结果表明，MeTDDI 在模型可解释性方面也表现出优异的性能。

此外，MeTDDI 可以突出显示与酶抑制相关的化学物质的代谢位点。

MeTDDI 的优势

传统方法仅仅通过体外测试 perpetrator 的代谢酶抑制来解释 DDI 机制，而没有充分考虑 victim。这是有问题的，因为 perpetrator 对酶抑制的效力可以根据 victim 的化学特性而改变。

Victim可能会改变 perpetrator 与代谢酶（尤其是 CYP）的结合或相互作用模式，从而导致各种酶抑制机制。这也许可以解释为什么一些化学物质（如炔雌醇和孕二烯酮）在体外单独使用时是代谢酶的强效抑制剂，但与其victim结合时效力就会降低。这也许可以解释为什么研究中只观察到乙炔雌二醇的两次反应，这被视为…

…

论文链接：https://www.nature.com/articles/s42256-024-00888-6

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

本文根据视频整理而来，有听错或理解不当之处欢迎在评论区指出。

向大模型输入「Michael Jordan plays the sport of _____（迈克尔・乔丹从事的体育运动是……）」，然后让其预测接下来的文本，那么大模型多半能正确预测接下来是「basketball（篮球）」。

---

这说明在其数以亿计的参数中潜藏了有关这个特定个人的相关知识。用户甚至会感觉这些模型记忆了大量事实。

但事实究竟如何呢？

近日，3Blue1Brown 的《深度学习》课程第 7 课更新了，其中通过生动详实的动画展示了 LLM 存储事实的方式。视频浏览量高达 18 万次。

去年 12 月，谷歌 DeepMind 的一些研究者发布了一篇相关论文，其中的具体案例便是匹配运动员以及他们各自的运动项目。

虽然这篇论文并未完全解答有关 LLM 事实存储的问题，但也得到了一些颇为有趣的结果，其中的一个重点是：事实保存在网络中的一个特定部分，这个部分也就是我们熟知的多层感知器（MLP）。

在 3Blue1Brown 刚刚更新的这期视频中，他们用 23 分的视频演示了大型语言模型如何存储和处理信息，主要包括以下部分：

• LLM 中隐藏的事实是什么
• 快速回顾 Transformers
• 示例
• 多层感知器
• 计算参数
  视频地址：https://www.youtube.com/watch?v=9-Jl0dxWQs8

在演示视频中，3b1b 的作者口齿清晰、语言标准，配合着高清画面，让读者很好地理解了 LLM 是如何存储知识的。

很多用户在看完视频后，都惊讶于 3Blue1Brown 教学质量：

还有网友表示，坐等更新这期视频已经很久了：

接下来我们就深入 MLP 的细节吧。在这篇文章中，机器之心简要介绍了核心内容，感兴趣的读者可以通过原视频查看完整内容。

MLP 在大模型中的占比不小，但其实结构相比于注意力机制这些要简单许多。尽管如此，理解它也还是有些难度。

为了简单，下面继续通过「乔丹打篮球」这个具体示例进行说明吧。

首先，我们先简单了解一下 Transformer 的工作流程。Transformer…

事实保存在网络中的一个特定部分，这个部分也就是我们熟知的多层感知器（MLP）。

继续「乔丹打篮球」这个示例。MLP 是如何存储这一事实的。

首先我们做一些假设：在高维空间中有这样三个不同的向量，它们分别定义了乔丹的姓 Jordan 和名 Mic…

MLP 的内部细节。

当这个编码了上述文本的向量序列穿过一个 MLP 模块时，该序列中的每个向量都会经历一系列运算：

之后，会得到一个与输入向量同维度的向量。然后再将所得向量与输入向量相加，得到输出向量。

序列中的每个向量都会经…

需要注意的是，这些向量编码的并不仅仅是单个词汇，而是会在信息在网络中流动时根据周围的环境和模型的知识吸收更加丰富的含义。

总之…

经过上述线性过程之后，需要对输出向量进行整理。这里通常会用到一个非常简单的函数：整流线性单元（ReLU）。

继续我们的例子，中间向量的第一个元素在当且仅当全名是 Michael Jorda…

对于矩阵乘法，视频中分享了一个视角。我们可以将矩阵乘法看作是将矩阵的每一行都视为一个向量，然后将这些行与被处理的向量（这里用…

GPT-3 中有 1750 亿参数是如何计算的？

在接下来的章节中，作者介绍了如何计算 GPT-3 中的参数，并了解它们的位置。

对于 GPT-3 来说，嵌入空间的大小是 12288，将它们相乘，…

视频最后介绍了叠加（Superposition）这一概念。证据表明，单个神经元很少像迈克尔・乔丹那样代表某个单一特征，实际上可能有一个很…

感兴趣的读者可以参考原视频，了解更多内容。

3blue1brown 介绍

3blue1brown 是一个专门制作可视化讲解视频的频道，其内容覆盖数学、人工智能等领域，每门课都配有直观生动的动画演示，帮助观众加深对…

除了 YouTube 上 640 万订阅者之外，3b1b 在 B 站上还有官方账号，粉丝数量超过 215 万，每个视频都是 10 万以上播放量，甚至有老…

作为一直以来都十分受欢迎的理解数学概念的网站，3blue1brown 的可视化一直都做得非常好。在本期视频中，我们可以直观感受到了。

3b1b 的创立者 Grant Sanderson，毕业于斯坦福大学数学系，他的大部分视频和动画引擎是独立完成的，这是他此前在斯坦福学习时的业余项目。

在斯坦福，Grant「走了点计算机科学的弯路」，随后毕业加入了 Khan Academy 并担任了两年的数学讲师，在 2016 年之后，他开始全身心投…

如果你对自己的学习能力信心不足，或许看看 3b1b 的内容会是一个好主意，全程动画演示，让你对知识点明白的彻彻底底。

参考链接：https://www.youtube.com/watch?v=9-Jl0dxWQs8

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

---

。注意：Title、Date、Body 三个部分的内容，放入到对应的位置。

---

最后只需要按照格式标准输出为Makedown源文件格式内容。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

巴西作为全球第五大数字人口国家，世界上最受欢迎的社交网络之一X因马斯克拒绝遵守当地法律而在该国下线，巴西数百万X用户发现自己无法在周六早上访问该网络，因为互联网服务提供商和手机公司开始执行禁令。

---

当卫报尝试在计算机和手机上访问该网络时，收到一条消息写着：“似乎您失去了连接。我们将继续重试。”大量巴西人转投对手网络Bluesky，后者报告称在过去两天里获得了50万用户。“欢迎来到Bluesky！”该公司用葡萄牙语向其新成员表示。马斯克在忽视X法院命令后面临巴西调查更多阅读Bluesky的新成员包括费利佩·内托，巴西顶级社交媒体意见领袖之一，拥有超过1700万X粉丝。“不要忘记，当你去另一个国家时，即使你不同意，你也有义务遵守其法律，”内托写道。下线X的举措是一个历时数月、政治充满争议的斗争高潮，该国最高法院与右翼科技亿万富翁之间进行了角力。负责禁令的影响深远的最高法院法官亚历山大·德·莫拉斯一直试图迫使X在2023年1月首都巴西利亚发生支持前极右翼总统雅伊尔·博尔索纳罗的起义后清除反民主、极右翼的声音。马斯克，支持博尔索纳罗及其美国盟友唐纳德·特朗普等右翼人士，进行了反击，指责莫拉斯扼制言论自由，试图审查保守观点。马斯克公开攻击莫拉斯的行为 - 其中许多幼稚和粗俗 - 令人联想到他在最近极右翼英国骚乱期间反复对英国首相基尔·斯塔默进行的在线攻击，这被指责煽动了X的所有者。在马斯克于周四忽视24小时的期限后，将于周五颁布禁令，命令他在8月中旬关闭当地办公室后命名一个新的法律代表之前，巴西用户开始有几个小时后注意到X已过期。马斯克加剧对莫拉斯的攻击，称法官为“伏地魔”，并在X上发送了一段狗将其阴囊晃动在另一只动物面前的模因。“他是一个独裁者和骗子，而不是公正的法官，”马斯克在X上写道，尽管巴西用户无法在没有使用虚拟专用网络（VPN）的情况下阅读他的话。知名右翼声音团结在马斯克一边，突显了巴西极右翼与世界上最富有的人之间日益紧密的联系。“我将激化，即使我独自一人，”知名右翼国会议员尼古拉斯·费雷拉在X被封之前的几个小时发誓。“你是自由斗士，”马斯克回答。进步的巴西人嘲笑马斯克声称捍卫言论自由，许多人庆祝最高法院的决定，显示出X的所有者并非凌驾于法律之上。“如果亿万富翁想要在这些地方拥有创造数十亿美元的公司，他们需要学会尊重法律。国家主权和法治万岁，”左翼国会议员埃里卡·希尔顿在周五深夜在X上写道。在该禁令生效前约半小时，希尔顿发布了第二个告别信息，宣布她已搬到了Bluesky。“很快在那里见。”她写道。探索更多关于这些话题XBrazilElon MuskSocial mediaAmericasTechnology sectornewsShareReuse this content。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

当俄罗斯监管机构批评他创立的社交媒体平台VKontakte传播色情内容时，科技企业家帕维尔·杜罗夫嘲笑地将自己的Twitter用户名从“VK CEO”改为“Porn King”。

---

十多年后，杜罗夫的反权威立场和对内容的干涉保持距离的做法让他陷入更严重的麻烦。周三，巴黎法院指控这位39岁的CEO在电报通讯应用程序传播虐童图片等问题上涉嫌串谋，并指控他涉及一系列其他指控。

自2013年推出以来，杜罗夫一直将电报定位为一个政治中立的避难所，远离政府控制，是言论自由的庇护所。多年来，他似乎并不在乎针对科技公司的日益增加的全球监管以及对其平台被滥用用于犯罪活动和恐怖主义的日益批评。“看起来他高估了自己。杜罗夫认为自己有无限自由，无法被逮捕。但法国的看法大不相同。”俄罗斯记者尼古拉·科诺诺夫如是说，他是为数不多多次采访过这位科技亿万富翁的记者之一，并著有关于他的传记。

目前，杜罗夫避免了监禁，以500万欧元（420万英镑）的保释金保释，但必须交出他的三本护照——法国、圣基茨和尼维斯、俄罗斯——这削弱了这位以极少停留在一个地方而著称的人的翅膀。1984年出生于苏联的杜罗夫在一个知识分子家庭长大，并被送往圣彼得堡的一所名校就读。据科诺诺夫称，杜罗夫从小就反抗权威。在学校学习编程的时候，他入侵了系统，让教室里的所有电脑显示一张带有“必须死”的字样老师的照片。他被禁止进入机房一个月。作为一个有点尴尬的青少年，据说杜罗夫拥有极大的自信，几乎到了信心过度的程度，认为自己的能力具有弥赛亚式的信念。当朋友们在高中毕业后聚在一间公寓里讨论未来职业时，他告诉他们，毫不开玩笑地表示自己会成为一个“互联网先知”。

随着他在大学期间作为计算机专家的声誉不断增长，杜罗夫受到两个熟人的邀请，向他展示了马克·扎克伯格的Facebook的一个早期版本。该团队迅速决定创建一个几乎完全相同的俄罗斯版本。为了实现他的愿景，杜罗夫找来了他的哥哥尼古莱，一位数学天才，1990年代连续三年在国际数学奥林匹克竞赛上获得金牌。这位年长的杜罗夫后来被认为是VKontakte和电报的幕后智囊。

由于在俄罗斯市场上竞争相对较少，VKontakte迅速发展成为俄罗斯以及苏联后继地区领先的社交网络平台。VKontakte提供了类似Facebook的用户体验，但专门为讲俄语的观众设计。其迅速增长部分是由于该平台允许分享和传播盗版音乐、影视作品和色情内容。杜罗夫对言论自由的第一次考验是在2012年初席卷俄罗斯的反对弗拉基米尔·普京示威期间。杜罗夫通过拒绝关闭在网站上组织抗议游行的群组而成为自由派反对派的英雄。他进一步奠定了独立声誉，因为在2013至2014年乌克兰马丹示威期间，他拒绝向克里姆林宫提供关于乌克兰用户的数据。但他逐渐失去了对VKontakte的控制权，财团持有的投资方与克里姆林宫密切相关。

杜罗夫决定离开俄罗斯，在离开信息留言中写道：“自2013年以来，我没有财产，但我仍然拥有更重要的东西——清白和我准备捍卫的理想。”同事们说，杜罗夫在寻找与他的团队安全交流的方法时想到了电报。电报的新颖之处在于它允许大规模的聊天群组，使人们更容易组织，就像WhatsApp的更流畅版本。

其“频道”允许信息以其他消息服务不具备的方式迅速传播给大量关注者；它结合了Twitter/X流的覆盖范围和即时性，以及电子邮件新闻简报的聚焦性。该应用程序的可用性和隐私保护措施吸引了各种用户，从生活方式博主到反权威主义抗议者，并且在伊朗、白俄罗斯和俄罗斯的示威中起到了推波助澜的作用。它还越来越成为极端主义分子和阴谋论者的避难所，以及儿童虐待者、毒品团伙和恐怖组织的首选工具。在商业领域，电报拥有近10亿用户的成功证明了杜罗夫不仅仅是一个模仿者。“虽然VKontakte使人们质疑杜罗夫的成功是由于他个人的优点还是简单地复制Facebook，但电报的推出显然是在全球范围内的技术突破。”与杜罗夫合作过的风险投资家帕维尔·切尔卡辛说。

随着电报成长为一家技术巨头，杜罗夫培养了一个自己是古怪、专横人物的声誉。他痴迷于电影《黑客帝国》，将自己视为并装扮成基努·里维斯饰演的尼奥，作为一个使命的程序员。尽管他经常被称为“俄罗斯的扎克伯格”，但他的传记作者科诺诺夫指出，杜罗夫受到了当时影响力巅峰的苹果公司首席执行官史蒂夫·乔布斯的启发。“杜罗夫像乔布斯一样，视自己为一个专横的远见者，极端要求他的员工。”杜罗夫偶尔会在他的Instagram账户上发布名为“生活规则”的自助帖，建议他数百万的追随者过上独居生活，避免饮酒和咖啡，并避免暴饮暴食。

他还自豪地宣称拥有极少的财产，据称这使他能够保持不受约束，过着流动的生活方式，由全球只有30名全职工程师组成的团队提供支持。杜罗夫基本上保留了他的私人生活细节，尽管上个月，他在社交媒体上披露，作为一个精子捐赠者，他现在拥有100多个生物孩子。

在他乘坐私人飞机抵达巴黎后被捕时，杜罗夫与24岁的朱莉·瓦维洛娃一起，后者是一位常驻迪拜的加密顾问和主播。尽管他大部分时间都避开了像埃隆·马斯克和扎克伯格这样顶级科技公司高管所面临的公众审查，但外国政府长期以来一直试图监视杜罗夫并赢得他的青睐。《卫报》此前报道说，杜罗夫的号码被Pegasus间谍网络选中进行监视，而《华尔街日报》本周表示，法国和阿联酋间谍在2017年黑客入侵了他。

与此同时，他似乎曾多次受到法国总统埃马纽埃尔·马克龙的款待，后者曾建议杜罗夫将公司迁至法国。“杜罗夫感到在法国受到尊重，我不认为他预见到了被逮捕。”一位要求匿名的接近这位亿万富翁的消息人士说。杜罗夫于2021年获得法国国籍。马克龙周四表示，“这一决定是作为一个完全承认的策略的一部分的，以便让那些努力学习法语、努力发展财富和创新、在世界上有所作为、赢得对方尊敬之人，在他们提出要求时被授予法国国籍”。

《世界报》报导称，这两位男士在杜罗夫获得法国护照之前多次会面。报纸补充说，这位对法国国籍的要求是在2018年与马克龙午餐之后提出的，在午餐时，提到了电报可能在法国设立基地。关于杜罗夫被拘留的时间和情况的问题已经引起了质疑，特别是他是否知道巴黎对他发布了逮捕令。一些人猜测杜罗夫前往巴黎是为了解决他的法律纠纷，而狂热的支持者们质疑他是否会自愿投降自己。不过，大多数人认为，杜罗夫可能会把这件事视为他为言论自由而战的又一篇章，并将自己定位为这一事业的倡导者。“自从他事业的开端起，杜罗夫在每次遭受攻击后都会变得更强大，进一步巩固了他作为反建制英雄形象的形象。”科诺诺夫说。

巴黎的金·威尔谢尔进一步报道。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。