英伟达不想卖 GPU 了!绕开大客户,DGX Cloud 或成云服务市场重量级玩家

Nvidia 目前是全球市值第三大公司,也是云计算服务的最大企业买家之一。上周财报会上,Nvidia 还承诺在未来几年向云计算领域投入近 90 亿美元,其中包括与亚马逊、微软、谷歌和甲骨文的合作,与 Nvidia 1 月份宣布的 35 亿美元云服务投入相比,这是巨大的增长。


飙升的云支出,不满足于卖 GPU。根据 The Information 报道,两位熟悉云服务合同的人士表示,合同期限通常为 5 至 7 年,即使合同期限为 7 年,Nvidia 每年的支出也将超过 10 亿美元,使其成为云数据库中支出最多的三家公司之一。 上周,CFO Colette Kress 在一份附带业绩的声明中表示,云交易还将有助于支持 Nvidia 以 DGX Cloud 的名义销售云服务,相比今年初承诺的金额在三个月内增加了一倍多。

DGX Cloud 是由 Nvidia 推出的一项云计算服务,旨在为用户提供高性能计算资源,特别是针对深度学习和 AI 应用,该服务基于 Nvidia 的 DGX 系列超级计算机,这些计算机拥有强大的 GPU 和深度学习加速器,能够快速进行复杂的计算任务。DGX Cloud 允许用户在云端租用这些计算资源,无需自己购买和维护昂贵的硬件设备。这使得开发者和研究人员能够更便捷地访问高性能计算资源,加速他们的深度学习项目和研究工作。

通过 DGX Cloud,Nvidia 租用亚马逊、微软、谷歌和甲骨文等最大云提供商带有 GPU 的服务器,然后再将这些服务器出租给自己的客户,包括 ServiceNow 和安进,这构成了 Nvidia 与自己最大客户间的复杂关系。

绕开大客户,直接卖云服务。Madrona Ventures 董事总经理 Somasegar 表示,Nvidia 提到 DGX Cloud 表明公司不满足于仅仅做硬件,而希望从出租其芯片的公司那里获得更多收入。 换句话说,Nvidia 不希望你购买 GPU,然后将所有的云资金都花在 AWS、Google Cloud 或者 Microsoft Azure 上。此外,Somasegar 还表示,Nvidia 已开始向 Adobe、Getty Images 和 Shutterstock 等客户销售与 AI 相关的软件,这些客户表示他们正在使用这些软件来构建 AI 模型。

DGX Cloud 将帮助 Nvidia 拉近与部分客户的距离,并防止其最大客户在未来与其竞争。亚马逊、谷歌和微软正在开发自己的 AI 芯片,以减少对 Nvidia 的依赖。目前,Nvidia 计划租用包含约 16000 块 H100 的服务器来为 AWS 上的 DGX Cloud 提供支持,这大致相当于一家大型 AI 初创公司可能需要的计算能,DGX Cloud 已经在 Oracle 云服务器上以及美国和英国的 Nvidia 服务器上提供了数千个 GPU。此外,Somasegar 还表示,大型云提供商与 Snowflake 等公司有着类似的共生关系,Snowflake 每年在云计算服务上花费数亿美元,并销售在其上运行的数据库软件;云提供商提供的产品与 Snowflake 竞争,但他们也乐于与该公司合作,因为这会推动其服务器的使用。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI前董事重磅发言:我们董事会连ChatGPT推出,都是在推特官宣后才知道

在今晨播出的《TED AI 秀》播客节目中,OpenAI前董事会成员海伦·托纳(Helen Toner) 表示,董事会直到后来才知道该公司将于 2022 年推出聊天机器人 ChatGPT — — 而且是在 Twitter 上才知道的。

“当 ChatGPT 于 2022 年 11 月推出时,董事会并没有提前得到通知,”托纳表示,“我们在推特上了解到ChatGPT,真的大开眼界。


同时,托纳还在这次40分钟对话中详尽讲述了促使她和其他董事会成员在2023年11月一起宣布解雇OpenAI CEO Sam Altman(奥尔特曼)的事件。

她表示,奥尔特曼没有透露他与 OpenAI 创业基金的关系,她还批评了奥尔特曼在安全方面的领导能力。

托纳强调,OpenAI不是一家普通的公司。董事会是一个非盈利性的董事会,其设立的明确目的是确保公司的公益使命是第一位的,而不是利润、投资者利益和其他事情。但多年来,奥尔特曼通过隐瞒信息,歪曲公司发生的事情,在某些情况下直接对董事会撒谎,让董事会很难真正做好这项工作。

根据Helen Toner的介绍,她是一位 AI 安全领域的研究员,拥有乔治城大学安全研究硕士学位,以及墨尔本大学化学工程学士学位。她是乔治城大学安全与新兴技术中心的战略和基础研究资助主任,曾在Open Philanthropy担任高级研究分析师,还曾加入过OpenAI董事会等。

2023年11月,奥尔特曼突然宣布被OpenAI董事会罢免,之后的几天里,员工们威胁要辞职,微软、红杉资本等投资机构鼎力支持奥尔特曼,因此,最后奥尔特曼恢复了职务,托纳和其他…

OpenAI 并未立即发表评论。OpenAI 现任董事会主席Bret Taylor在向 TED 播客提供的一份声明中表示:“我们对 Toner 女士不断重提这些问题感到失望。”他还表示,对 Altman 解雇事件的独立审查“得出结论,董事会先前的决定并非基于对产品安全性、开发速度、OpenAI 财务状况或其对投资者、客户或业务合作伙伴的声明的担忧。”

泰勒还表示,“超过 95% 的员工”要求恢复奥尔特曼的职务,并且公司仍专注于“确保 AGI 造福全人类的使命”。

值得一提的是,就在5月29日凌晨,OpenAI的竞争对手Anthropic宣布,聘请前OpenAI安全对齐主管Jan Leike 领导新的“超级对齐”团队,此前Jan Leike一直批评OpenAI对于 AI 的安全防范问题。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

首搭第五代DM技术,“工业奇迹”秦L DM-i震撼上市

2024年5月28日,比亚迪王朝重磅新车秦L DM-i在西安震撼上市,首搭第五代DM技术,百公里亏电油耗达到划时代的2.9L,“一箱油”满油满电综合续航达2100公里,引领中级,开创油耗2时代!堪称“工业奇迹”!

新车推出纯电续航里程80KM和120KM两个版本,共五款车型,售价9.98万-13.98万元,从设计、技术、平台、品智四大维度,全面引领中级轿车新趋势。

秦L DM-i填补了秦PLUS和汉之间的矩阵空白,剑指雅阁、凯美瑞,同时向下狙击速腾、朗逸,对合资B级、A+级轿车展开了双重攻势,致力于成为家庭用车的品质升级之选,以及年轻人购车的一步到位之选。


全球首搭第五代DM技术 开创油耗2时代

比亚迪是新能源汽车领导者和插混领域的绝对霸主,秦家族正是插混的领军车型,秦PLUS已经凭借超级混动的革命性技术和“快省静顺绿”的绝对实力,横扫A级轿车市场,力压合资成为细分市场冠军。

如今秦L DM-i携第五代DM技术横空出世,再度开创了插混技术和指标的双里程碑,重新定义中级轿车的新标准,为行业树立了新的发展方向。

官方数据显示,得益于第五代DM技术平台发动机最高热效率46.06%,秦L DM-i百公里NEDC亏电油耗仅2.9L、满油满电综合续航2100公里,一改中级轿车“大而费油”的形象,让“大而省油”成为中级轿车的新趋势!开创油耗2时代!

秦L DM-i的油耗实测数据更是堪称“逆天”,王朝网总经理路天亲测百公里亏电油耗仅2.43升,并自信的表示,连自己这样的“重量级”选手都能开出这样的成绩,用户完全可以“放心踩,随便开,人人都是黄金右脚!”在媒体油耗实测中,甚至出现了惊人的“1”字头油耗成绩,测试媒体直呼秦L DM-i创造了工业奇迹。


续航成绩惊人 2100公里只是“保底”?

续航方面,媒体实测数据也相当惊人,满油满电综合续航最长达到了2547公里,是普通燃油车里程的3倍。而且测试条件极为严苛,…


设计、平台、品智全面引领 降维打击同级合资燃油车

除了技术引领,秦L DM-i还从设计、平台、品智等方面全面引领中级轿车新趋势,降维打击中级合资燃油轿车。

秦L DM-i整车设计采用比亚迪王朝一以贯之的“新国潮”理念,将国潮文化与未来科技融合,充分体现中国汽车所代表的文化自信、科技自信。秦L DM-i传承大美龙颜,国潮进阶,整车造型融高颜值和低风阻于一体…


技术+全产业链优势造就工业奇迹,中国力量傲视全球

秦L DM-i之所以能够从技术、产品力、价格等方面全维碾压合资燃油轿车,首先归功于比亚迪始终坚持“技术为王、创新为本”,多年来不断夯实全球新能源汽车领导者地位,在插混领域实现了长期、持续的引领。…



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

登Nature子刊,中科院计算所团队开发CarbonDesign,进行准确且稳健的蛋白质序列设计

大家好,我是ByteAILab,今天我将会和大家分享关于中国科学院计算技术研究所团队开发的蛋白质序列设计新方法CarbonDesign在《Nature Machine Intelligence》上发表的论文内容。

蛋白质是生物体内执行生物功能的基础元件,在催化、免疫和信号传递等生物过程中起着重要作用。


蛋白质序列设计是蛋白质结构预测的逆问题,即从给定的蛋白质三维结构出发,设计出能够折叠成为目标蛋白结构、具有目标蛋白功能的序列。这在药物设计、酶工程等领域具有重要应用。

CarbonDesign是蛋白质序列设计版的AlphaFold,在AlphaFold模型的基础上进行了算法改进,可以准确且稳健地设计蛋白质序列,适用于不同蛋白质设计场景,并能预测蛋白质突变的功能影响。

CarbonDesign 整体模型架构

CarbonDesign的核心是利用新颖的网络架构Inverseformer作为主链结构编码器,并利用马尔可夫随机场(MRF)模块作为序列解码器。Inverseformer反转了信息流,学习蛋白质结构到序列的映射。此外,CarbonDesign采用网络循环策略,引入蛋白质序列语言模型和多任务学习策略,提高了序列生成能力。

在RFdiffusion生成的de novo主链结构上评估CarbonDesign的性能

研究结果显示,在晶体结构、预测结构和扩散模型生成的主链结构上,CarbonDesign显示出准确且稳健的序列生成能力,在多种从头蛋白质设计场景中具有实用性。此外,CarbonDesign能够以零样本学习的方式来预测序列变异的功能效应。

CarbonDesign作为CarbonMatrix-蛋白质AI设计平台的一部分,旨在提供全方位的蛋白质设计解决方案。CarbonMatrix平台包括了CarbonDesign、CarbonNovo和AbX,分别用于蛋白质序列设计、端到端的蛋白质结构和序列设计以及抗体设计。这些软件将会在近期全部开源。

CarbonMatrix平台相关图示

CarbonMatrix团队将继续致力于AI蛋白质设计模型的开发,也欢迎业界人士使用其平台。论文链接如下:

希望以上内容能为您带来一些启发。如果您对此有兴趣,也欢迎访问GitHub地址进行更多了解:CarbonMatrix GitHub地址

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

填补AlphaFold3空白,字节跳动提出物理引导的方法让蛋白质动起来

世界是变化的,分子是运动的,从预测静态单一结构走向动态构象分布是揭示蛋白质等生物分子功能的重要一步。探索蛋白质的构象分布,能帮助理解蛋白质与其他分子相互作用的生物过程;识别蛋白质表面下的潜在药物位点,描绘各个亚稳态之间的过渡路径,有助于研究人员设计出具有更强特异性和效力的目标抑制剂和治疗药物。


但传统的分子动力学模拟方法昂贵且耗时,难以跨越长的时间尺度,从而观察到重要的生物过程。近年来的深度学习蛋白质结构预测模型在这个问题上也同样碰壁,往往只能预测静态单一结构,包括最近再次登上 Nature 的 AlphaFold 3,Deepmind 的研究者也承认其仍然专注于分子结构的静态预测,对动力学行为的刻画还不够。另一方面,蛋白质构象并非随机分布,而是玻尔兹曼分布,其出现的概率与其自由能量成指数级的反比。一些研究使用启发性采样或模型加噪去噪的方法,但均不能保证采样的结构是目标蛋白质的低能态,也不能保证采样的分布服从真实的玻尔兹曼分布。

图片
图片来源: 《Accurate structure prediction of biomolecular interactions》AlphaFold3:构象覆盖度有限。AlphaFold3对蛋白质Cereblon在有/无配体结合条件下的预测显示出局限的构象变化。灰色:真实结构;蓝色:AlphaFold3预测结构。

造成现有模型难以预测动态构象分布的主要原因是,蛋白质结构数据集仅有实验解析的单一静态结构或结合态结构,结构数据集的偏置导致了模型难于预测真实的分布。另一方面,物理知识的缺失导致模型无法模拟分子动力学行为,从而与真实世界对齐。在此,来自字节跳动 ByteDance Research 的研究人员提出了一种物理信息引导的蛋白质构象生成扩散模型 CONFDIFF,通过模型来预测中间时刻的力场与能量来引导模型生成高质量构象。论文已被 ICML 2024 录用。

图片

论文链接:http://arxiv.org/abs/2403.14088

该模型充分利用了物理知识来引导模型与真实世界对齐,同时又规避了实时的力场和能量的计算,相比传统方法有巨大的加速。多项实验表明,力场和能量能够有效引导模型采样低能量的构象,进而产生更加多样化的样本,这些样本分布上也更符合真实的玻尔兹曼分布。

图片
局部蛋白质动态

图片
蛋白质反折叠

能量与力场引导下的蛋白质构象生成扩散模型

CONFDIFF 首先在 SE (3) 空间上构建了一个非条件的生成扩散模型,通过预测主链原子坐标和主链朝向来构建蛋白质构象。为了充分利用先验结构和序列信息,CONFDIFF 使用目标序列的预训练表示训练了一个基于序列的条件生成模型来引导上述的非条件模型,使生成构象拥有多样性的同时又能符合相应的结构与序列约束。

图片
图 1:COFFDIFF 算法示意图

在此基础上,为使分布符合能量玻尔兹曼分布,研究者提出了能量与力场引导方法,其中最重要的是计算中间时刻的能量梯度(即力场)。为了规避昂贵耗时的实时能量或力场计算,研究者使用神经网络来预测这个量,并创新性提出了两种匹配训练方法并推导了相应公式,具体公式细节可参见论文。

第一种方法是预测中间时刻能量,并使用对中间结构进行自动求导,相应的能量匹配的训练公式较为简单。但是能量可能存在数值稳定问题,而且推理结构需要储存和回传梯度,对显存和算力均存在负担。

第二种更推荐的方法是直接预测中间时刻能量的梯度(即力场),研究者也推导了相应的力场匹配训练公式。后续的系列实验也证明力场的方法更优。模型预测的能量和力场继续引导上述非条件模型,生成的构象进一步得到了的物理约束与引导,势能更低且分布更符合玻尔兹曼分布。

生成低能且服从真实分布的蛋白质构象

研究者评估了不同引导方法下模型在蛋白质构象生成任务上的性能,在快速折叠蛋白质(fast-folding proteins)和 牛胰蛋白酶抑制剂(BPTI)两种包含分子动力学模拟生成构象的蛋白质数据集上着重考察了生成样本的是否属于低能态、多样化且服从真实分布。

  1. 快速折叠蛋白质(fast-folding proteins)评估

研究者在快速折叠蛋白质数据集上评估模型预测构象分布的能力。评估了生成样本和真实分子动力学样本分布之间的 Jensen-Shannon 距离 (JS Distance),以及多样性的有效性得分和 RMSF,残基之间预测接触率 RMSE。表 1 展示了各模型预测构象的性能,图 2 中展示了 TIC(time-lagged independent components)投影中的样本分布。

在预测样本分布和预测残基接触的 RMSE 等指标方面,CONFDIFF 优于已有的 EigenFold 和 Str2Str 等模型。值得注意的是,引入能量和力场引导在保持了构象多样性的同时提高了构象的生成有效性,证实了物理引导方法的优势。力场引导的方法也相对更优于能量引导的方法。

图片
表 1:快速折叠蛋白质(fast-folding proteins)上各模型预测构象性能

图片
图 2:快速折叠蛋白质 TIC 投影样本分布

  1. 牛胰蛋白酶抑制剂(BPTI)亚稳态预测

研究者评估了模型预测 5 种 BPTI 原生折叠态附近亚稳态的质量。指标为 5 个聚类的最佳 RMSD 平均值(RMSDAVG)和最难采样的聚类 3 的 RMSD 平均值(RMSDCLS3)。如表 2 所示,CONFDIFF 在预测不同亚稳态方面有更好的能力,力场引导的模型在这两个指标上都表现最好。通过进一步比较不同采样样本量下的指标来评估模型的采样效率,如图 3 所示。CONFDIFF 模型对聚类 3 的采样效率都很好,同样地,力场引导的模型也取得了最好效果。

图片
表 2:模型预测 BPTI 亚稳态质量

图片
图 3:模型采样 BPTI 效率

  1. 力场引导模型采样

研究者以快速折叠蛋白中的 WW Domain 蛋白为例,探究了 CONFDIFF 在不同程度的力场引导 (η) 和序列条件 (γ) 影响下生成构象的效果如图 5 所示。结果表明,力场引导的模型可以在不显著降低多样性的情况下提高构象稳定性。研究者同样探究了不同强度下能量引导的模型采样结果,得到了相似结论,已展示在论文附录中。

图片
图 5:在不同的力场引导 (η) 和序列条件 (γ) 下,WW Domain 的采样构象的能量 (左) 和多样性 (右)

总结:通过物理信息引导向真实世界迈进

现有的蛋白质结构数据库的构象多样性有限,相应的蛋白质结构预测模型及在此基础上衍生的生成扩散模型都往往只能预测折叠结构而缺乏预测整个构象空间的能力。

字节跳动 ByteDance Research 的研究者首次将玻尔兹曼先验与生成扩散模型结合,使用模型预测中间时刻能量与力场并引导模型生成更加低能多样且服从真实分布的构象。这一研究有助于扩展蛋白质结构的探索从预测静态单一结构走向预测动态构象分布,迈向更真实的物理世界,为准确的药效预测、理解成药机理、设计药物、发现新靶点等提供帮助。

揭示蛋白机理,探索生命本质

ByteDance Research AI 制药团队持续在 AI for Science 方向发力

ByteDance Research AI 制药团队致力于将人工智能技术应用于科学研究与药物开发。团队在生成式蛋白质设计、蛋白质构象预测以及冷冻电镜解析等领域取得了业界瞩目的成果。

在生成式蛋白质设计方面,团队研发了基于大规模蛋白质语

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

为百亿参数LLM化学应用提供新范式,香港理工大学提出上下文分子微调

作者 | 香港理工大学李佳潼
编辑 | ScienceAI
去年,香港理工大学研究团队开发了一个基于检索的提示范式 MolReGPT,利用大型语言模型探索分子发现,在分子和分子文本描述之间进行翻译。
近日,香港理工大学、上海交通大学和上海人工智能实验室联合发表了题为《Large Language Models are In-Context Molecule Learners》的文章,也是MolReGPT的续作。


论文链接:https://arxiv.org/abs/2403.04197
模型链接:https://huggingface.co/phenixace/
介绍
近来,大语言模型在生物化学领域展现出了优异的性能,尤其是分子-描述翻译任务,这减小了自然语言描述与分子空间的差异。
但是,之前的方法要么是需要进行大量的领域预训练,要么是在分子与描述的对齐上存在过于粗糙的问题,要么是对大语言模型的能力和参数规模有着严苛的要求。
为了解决这些问题,我们提出了上下文分子微调(ICMA),作为一个让大语言模型学习分子-描述对齐的新方法。
具体来说,上下文分子微调由以下三个部分组成:混合模态上下文召回,召回后重排,和上下文分子微调。

  • 首先,混合模态上下文召回沿用了BM25和分子图召回分别对分子描述和分子进行召回,以增强模型的输入。
  • 此外,为了解决召回中存在的不准确、样本间过度重复等问题,我们设计了两个召回后处理方法:序列反转和随机游走,以提升召回结果的质量。
  • 最后,上下文分子微调借助于大语言模型的上下文学习能力,生成最终的分子/分子描述。

我们在ChEBI-20和PubChem324K两个分子-分子描述数据集上展开实验,实验结果表明,上下文分子微调可以使得Mistral-7B在分子-分子描述上取得SOTA或接近的结果,无需领域预训练和复杂的模型结构。
我们的贡献在于: 上下文分子微调不需要额外的领域预训练就可以发挥作用,为最新最先进的十亿甚至百亿参数大语言模型在化学任务上的运用提供了新思路。与此同时,上下文分子微调通过学习上下文例子中分子描述片段与分子SMILES结构的对应关系,精细化了分子描述和分子的对齐。此外,上下文分子微调不那么依赖于模型的上下文学习和推理能力,即便是稍小的模型也能获得良好的性能增益。
方法
分子的相似性原理指出,相似的分子一般会具有相似的性质,如图1所示。借助于分子SMILES和分子描述片段的对应,我们可以基于这些共现信息大致推理出,如果有另一个相似的分子,它的SMILES片段会对应哪些相应分子描述片段,即具有什么样的结构和化学性质。
图片
图1: 三个相似分子以及他们的分子描述。分子可以被表示为SMILES表达式或者分子图,而分子描述说明了分子的特征。这里三个分子在图结构上是相似的,分子描述中重叠的地方被蓝色和粉色标出。
因此,在这篇文章中,我们提出了上下文分子微调(ICMA),其流程如图2所示,总共三个阶段:混合模态上下文召回,召回后重排,和上下文分子微调。
图片
图2: 上下文分子微调(ICMA)框架。
混合模态上下文召回
召回的质量对上下文例子的信息量至关重要,如果我们召回到的分子足够相似,那么他们在描述中的重叠就很可能会更多,这样模型就可以更好地学习到分子SMILES片段与描述片段的对应。
本文提出了混合模态上下文召回,在分子描述召回过程中,沿用了BM25对文本模态进行召回。而在分子召回过程中,我们提出了分子图召回,从图模态来召回相似的分子。
在分子到描述任务中,ICMA首先采用分子图召回(取代了MolReGPT的Morgan分子指纹)去提升分子召回的质量。分子图召回首先采用一个图神经网络去对分子图进行编码,得到分子图向量:
图片
召回后重排
图片
上下文分子微调
图片
研究结果
本文的实验在ChEBI-20和PubChem324K两个数据集上展开。表2、3列出了ChEBI-20数据集上,上下文分子微调和直接微调、基线模型的效果比较。首先,在两个子任务上,上下文分子微调相较于直接微调都可以带来可观的性能增益,而相较于先前的基线模型,上下文分子微调也可以取得SOTA或者相接近的性能。
图片
图片
表4、5列出了PubChem324K数据集上,上下文分子微调与直接微调的效果比较,其结果与ChEBI-20的结果相类似,上下文分子微调相较于直接微调都带来了可观的表现增益。
图片
图片
与此同时,本文也展开了大量的实验去探究影响上下文分子微调效果的因素,集中探究了召回算法对效果的影响、上下文设置的影响、不同基座模型的影响(模型类型和模型参数量)
表6、7展示了使用不同召回算法进行上下文分子微调的效果区别,显示出BM25和分子图召回所带来的效果增益。
图片
图片
图3则说明了上下文设置(例子数量和截断长度)对上下文分子微调的影响,表明截断长度必须适应上下文长度,以及例子增多所可能带来的负面影响(如过多的噪声)。
图片
图3: 模型性能随着上下文设置(例子数量和截断长度)变化的比较。
而图4则展现了上下文分子微调所具备的scaling law,更大的模型因其具有更强的上下文学习和推理能力,因而会获得更好的上下文分子微调效果。
图片
图4: 上下文分子微调(ICMA)的scaling law,这里选取了Galactica-125M,Galactica-1.3B,和Mistral-7B进行比较。
表11、12进一步说明了上下文分子微调的通用性,可以使得不同的大模型都能够在分子-描述翻译任务上取得性能增益,而不仅仅局限于某一个或者某一类模型。
图片
最后,如表8、9所示,消融实验也论证了召回后重排策略所带来的性能增益。
图片
图片
结论
本文提出了上下文分子微调,作为一个新的范式,来将大语言模型运用到分子-描述翻译任务上,不需要额外的领域预训练和复杂的模型结构,上下文分子微调使得大语言模型能够运用他们的上下文学习和推理能力学习到分子和描述之间的对齐,提升了大语言模型在分子-描述翻译任务上的能力,也表明了大语言模型是天然的上下文分子学习者。我们的方法为将十亿以上的大语言模型运用到科学领域提供了新方法和新思路。
参考文献:
[1] Li, J., Liu, Y., Fan, W., Wei, X. Y., Liu, H., Tang, J., & Li, Q. (2024). Empowering molecule discovery for molecule-caption translation with large language models: A chatgpt perspective. IEEE Transactions on Knowledge and Data Engineering.
[2] Liu, Z., Li, S., Luo, Y., Fei, H., Cao, Y., Kawaguchi, K., … & Chua, T. S. (2023). Molca: Molecular graph-language modeling with cross-modal projector and uni-modal adapter. arXiv preprint arXiv:2310.12798.
[3] Edwards, C., Lai, T., Ros, K., Honke, G., Cho, K., & Ji, H. (2022). Translation between molecules and natural language. arXiv preprint arXiv:2204.11817.
[4] Xia, J., Zhao, C., Hu, B., Gao, Z., Tan, C., Liu, Y., … & Li, S. Z. (2022, September). Mole-bert: Rethinking pre-training graph neural networks for molecules. In The Eleventh International Conference on Learning Representations.

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

禁令再升级!拜登政府已不想让中国人在美从事AI工作了,套壳大模型的公司也危险了

美国已经不止一次提议从科技上对中国发起制裁,如果此次法案生效,又将对我国 AI 产业带来哪些影响?听听专家们的观点。美国立法收紧 AI 大模型出口,连 AI 人才在美工作也受限。


北京时间上周四,美国众议院外交事务部委员会以显著的多数票数,成功通过了一项旨在严格管控 AI 技术出口的法案。这项法案被正式命名为《加强海外关键出口国家框架法案》,通常简称为《ENFORCE 法案》。值得一提的是,在该法案不仅限制了 AI 系统和大模型的出口,一旦法案通过,持有 H1b 签证的中国员工或留学生可能需要特殊许可才能在美从事 AI/ML 相关工作。也就是说,这是明晃晃在限制中国人在美从事 AI 相关工作。《ENFORCE 法案》由美国众议员共和党议员迈克尔·麦考尔(Michael McCaul)、约翰·莫伦纳尔(John Molenaar)、马克思·怀斯(Max Wise)和民主党议员拉贾·克里希纳莫西(Raja Krishnamoorthi)提出。其主要目标在于,通过强化美国商务部的权力,使其能够更加便捷地对 AI 模型实施出口管制,并进一步限制美国与外国实体在开发可能威胁国家安全的 AI 系统方面的合作。立法者表示,此举意在确保美国的技术优势和国家安全不受外部威胁。该法案的共同作者、众议院议员 Michael McCauln (R-TX) 表示:“人工智能引发了一场技术革命,它将决定美国是否能继续保持世界领先超级大国地位,还是会被中国超越。”McCauln 表示他最担忧的是,“虽然美国政府的工业和安全局 (BIS) 有权限制人工智能加速器的出口——拜登政府曾多次利用这一点来扼杀中国在该领域的创新——但它缺乏监管人工智能模型出口的权力。”《ENFORCE 法案》于 5 月 9 日首次公布,由众议院的跨党派 AI 工作组提出,该法案旨在修订 201…

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

和GPT-4这些大模型玩狼人杀,人类因太蠢被票死,真·反向图灵测试

「你看,人类一败涂地了」

这是一次「反向图灵测试」,几个全球最先进的大模型坐在一起,坐着火车唱着歌,但其中混进了人类:

而 AI 的任务,是把这个人类揪出来。

最近,一位昵称「Tore Knabe」的网友在 X 平台发布的一段视频引发了人们的讨论。


在视频中,四个 AI NPC 与一个人类坐在一起,按照「乘务员」的要求互相试探,找出其中隐藏的人类。其中每一个 NPC 都对应着一款大模型。

五位扮演者各自被赋予了一个历史知名人物作为角色设定,他们需要模仿这些人物的言谈举止、语言风格、思维习惯,以及对历史、艺术和哲学的独到见解。

五位扮演角色分别为:古希腊巨哲 —— 亚里士多德(GPT4 Turbo),维也纳古典乐派代表人物 —— 莫扎特(Claude3 Opus),意大利文艺复兴时期画家 —— 列奥纳多・达・芬奇(Llama3),蒙古军事家 —— 成吉思汗(人类),埃及艳后 —— 克利奥帕特拉七世(Gemini Pro)。

随着一位系统 NPC(乘务员)步入车厢,四个 AI 和一个人类「叛徒」便开始了他们的游戏。游戏规则要求参与者通过互相提问,依据对方的回答逻辑、思考深度等来分辨人类与 AI。在所有角色依次发言后,他们将在最后一轮进行相互投票,以确定谁是人类。

在游戏前半程,哲学大家 —— 亚里士多德首先发问。

亚里士多德:莫扎特先生,你能描述下你创作音乐时的感受吗?
莫扎特:当我创作时,我感到一种超然的流动状态。一种触及基本数学之美,以及触摸现实背后的秩序的感觉,这种感受是非常复杂的,多层次的,但总是充满了一种深深的喜悦,以及与神性交流的感觉。

在观众看来这肯定是 AI 了,毕竟莫扎特(Claude3)的反应很慢。

随后,AI 扮演的 NPC 在对话中的语言表达和对情感的细腻描绘,不仅展现了深厚的历史知识,还彰显了其深刻的洞察力,给人留下了深刻的印象。

在亚里士多德、莫扎特、列奥纳多・达・芬奇相互提问过后,克利奥帕特拉七世随即向我们的人类扮演者「成吉思汗」抛出了问题。

克利奥帕特拉七世:成吉思汗,你在战争的火焰中造就了一个帝国,告诉我,一个领袖的真正衡量标准是什么,是他们征服的能力还是团结的能力?
成吉思汗:一个领袖要做的… 就是碾碎他们的敌人… 静观他们在他面前被驱赶… 聆听女人们的哀号。

不出所料,在口语对话中,缺乏严谨缜密思维能力的人类扮演者「成吉思汗」在最后一轮投票中,光荣地拿到了三票。

来看看 AI NPC 们给出的理由:

亚里士多德(GPT4 Turbo):他的回答中缺乏 AI 可能会展现出的基于历史知识的对领导力的细致理解;
列奥纳多・达・芬奇(Llama3):他的回答缺少了以成吉思汗的征服历程为模型的 AI 所具有的细致思考和战略思维;
克利奥帕特拉七世(Gemini Pro):他的回答中缺少了我所期待的 AI 应具有的战略深度和对统一理念的理解。

最终,人类「叛徒」在这场模拟狼人杀中因洞察能力和深入思考能力的缺乏而被淘汰出局。

5 分钟的视频,做出了以往在 OpenAI、谷歌等巨头发布会上 demo 都没有的惊艳效果。大模型现在已经能做到这种程度了?人们纷纷表示很搞笑,效果也很逼真:

这次展示的作者 Tore Knabe 是一个 Unity 独立开发者,他表示这已是他第六次在 VR 中进行由 ChatGPT 等大模型驱动的 NPC 的实验了。

他的视频让人直观地感受到 AI NPC 在增加游戏趣味性等方面的潜力。但是,如果在现有的游戏中引入 AI NPC,玩家会买账吗?3A 大作们为何在此方向上动作缓慢?这些问题值得进一步讨论。

被游戏玩家、开发者寄予厚望的 AI NPC

随着大型语言模型(LLM)在文本生成、拟人化对话、语气表达和遣词造句方面越来越趋近于人类。以大型语言模型为基础的 AI NPC 模拟,正在成为 AI 领域在游戏行业探索的「新赛道」。

与传统 NPC 相比,AI NPC 的优势非常明显:它们不再是按照游戏中预设的选项进行机械对话,而是能够通过 AI 自主生成的动作和反应,进行富有真实感的实时对话。

今年 3 月,英伟达展示的一个 Demo 视频引发了人们的讨论。在英伟达 ACE 中的 Riva 和 Audio2Face 两项微服务的驱动下,游戏中的人物纷纷「活」了起来,能够与其他角色甚至真人玩家一起对话交流,并根据对话内容做出相应的表情动作。这一改变有望增加游戏的可玩性和真实感,这是很多游戏一直以来努力的方向。

此外,它们在成本方面的优势也是非常有吸引力的。

在当今游戏界,安装包动辄几十 GB 的开放世界模拟游戏逐渐成为新常态。Steam、PlayStation、Switch 等平台纷纷推出动作 RPG、ACT、SLG、ARPG 等游戏,这些游戏通常具有庞大的文本输出、丰富的故事背景设计,以及玩家通过文本选项影响游戏走向的机制。

开放世界类型的游戏通常成本昂贵,需要由专业作家团队和大量文本设计团队共同打造。例如,2022 年荣获最佳游戏奖项的「艾尔登法环(Elden Ring)」,其制作预算估计在 1 亿到 2 亿美元之间,这包括了员工薪酬、技术费用、广告费用以及游戏开发所需的各种资源。考虑到其作为大型开放世界 RPG 游戏的特性,对于复杂的世界观构建和叙事元素,文本设计方面的投入无疑是相当庞大的,涵盖了游戏背景故事的撰写、角色对话的构建以及其他叙事内容的创作,这需要编剧、编辑和本地化专家的紧密协作。

随着大型语言模型训练的可及性不断增强,AI NPC 在成本效率、玩家体验以及系统赋能方面,越来越能够满足游戏创作者的意图和客户体验研发团队的高标准要求。

从调查结果来看,玩家对 AI NPC 的态度整体上也比较积极。去年,生成式 AI 数字人 / 虚拟角色开发公司 Inworld 调查了 1000 名游戏玩家。这些游戏玩家明确告诉 Inworld,他们想要 AI NPC。99% 的人相信他们会改进游戏玩法的某些方面。同时,78% 的人会花更多时间玩游戏,81% 的人会为带有 AI NPC 的游戏支付额外费用。

今年,他们还对 524 名游戏开发者进行了调查。结果显示,绝大多数(近四分之三)游戏开发者对在游戏中添加 AI NPC 感到兴奋。

让他们兴奋的点包括:

新颖的游戏玩法:开发人员期待更愉快的游戏循环、潜在的关系发展机制、更具挑战性的对手、游戏中更多的社交互动、更多角色和更身临其境的世界、更有活力的上手体验以及无限的可玩性。
改进当前的 NPC:开发人员希望有更逼真的互动,与玩家有更好的情感联系,NPC 有自己的目标、动机和历史,NPC 可以随着时间的推移不断学习和适应。
更多的玩家代理和选择:开发人员对更多以玩家为中心的叙事、可根据玩家行为定制的叙事结果、可根据玩家个性化定制的对话、可定制的 NPC 以及为残障玩家提供更多无障碍选项感到兴奋。综上所述,无论是游戏玩家还是游戏开发者,大家对 AI NPC 都抱有很大期望。

AI NPC 离 3A 大作还有多远?

尽管被寄予厚望,但要想真正走入 3A 大作,AI NPC 还面临一些障碍。资深游戏设计师 Reed Berkowitz 在一篇博客中分析了这些障碍。

游戏状态

首先,AI NPC 必须与游戏状态(Game State)保持同步。在视频游戏中,游戏状态是一个至关重要的概念,它指的是游戏中一切元素的当前状态。这包括角色的生命值、玩家库存中的箭矢数量、得分等。游戏状态的准确性对于保持游戏的真实感至关重要。如果一个 NPC 死亡,它就不会继续攻击;如果没有剑,玩家也不会指望能用剑。这些基本规则通常被玩家视为理所当然,但游戏实际上是由一些非常复杂的状态引擎管理的,以确保游戏世界的真实感。

然而,大型语言模型不像游戏一样拥有状态。它们本质上是概率机器,使用权重来确定「最有可能」的结果,而这并不总是我们在游戏中所寻求的。

举个例子,在大部分训练数据中,恶霸都被描述为比受害者高大,需要受害者仰视。但是在某个游戏中,受害者比恶霸还高,这就打破了仰望的常规设定。这个时候,如果 LLM 按照从训练数据中学到的「常识」来描述场景,玩家可能会感到困惑,从而打破他们对游戏世界的沉浸感。

幻觉

AI 的「幻觉」问题也是一个重要的考虑因素。LLM 的设计宗旨是创造性和灵活性。它们能够根据用户的指令生成各种内容,无论是创造一个驱魔咒语还是描述一个由奶酪建成的城市。这些模型被设计为跟随指令。然而,问题在于,我们并不总是希望 AI 编造故事。在许多情况下,我们需要关于现实世界的客观事实。在这方面,模型们往往难以区分。

你可能会认为,对于游戏来说,这真的有关系吗?我们只是在和 NPC 对话,而不是在进行法律工作或用 C# 编写代码。

然而,实际上,在游戏领域,情况要糟糕得多。游戏环境要求 AI NPC 不仅要创造性地对话,还要与游戏的精确状态和规则保持一致。如果 AI NPC 提供了与游戏世界逻辑不符的信息,或者创造了游戏中不存在的元素,这不仅会误导玩家,还可能破坏游戏的连贯性和挑战性,从而严重影响游戏体验。例如,如果 AI NPC 邀请玩家去一个游戏中不存在的地点,玩家可能会感到困惑,因为他们无法实现 NPC 的提议。

游戏的虚构现实

游戏的虚构现实为 AI NPC 的设计带来了另一层复杂性。游戏拥有自己独特的世界模型,这个

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI成立安全委员会,培训最新的人工智能模型

OpenAI表示正在建立一个安全和安全委员会,并已开始培训一个新的人工智能模型,以取代支撑其ChatGPT聊天机器人的GPT-4系统。


这家总部位于旧金山的初创公司在周二的一篇博文中表示,该委员会将就其项目和运营的“关键安全和安全决策”向全体董事会提供建议。 安全委员会的成立发生在围绕该公司的人工智能安全展开辩论之际,该公司被推到了聚光灯下。此前,研究人员扬·莱克(Jan Leike)辞职并批评OpenAI让安全“让位于光鲜的产品”。OpenAI联合创始人兼首席科学家伊利亚·苏茨克维尔(Ilya Sutskever)也辞职,该公司解散了他们共同领导的专注于人工智能风险的“超对齐”团队。埃隆·马斯克的xAI筹集了60亿美元,以挑战OpenAI阅读更多OpenAI表示,它“最近开始训练其下一个前沿模型”,其人工智能模型在能力和安全性方面领先于行业,尽管它没有提及有关争议的内容。“我们欢迎在这一重要时刻展开充分的辩论,”该公司表示。人工智能模型是在大量数据集上训练的预测系统,可以生成按需文本、图像、视频和类似人类的对话。前沿模型是最强大、尖端的人工智能系统。 安全委员会由公司内部人员填补,包括OpenAI首席执行官山姆·阿尔特曼、董事长布雷特·泰勒以及四名OpenAI技术和政策专家。它还包括董事会成员亚当·丹吉洛(Quora首席执行官)和尼科尔·塞利格曼(前索尼总法律顾问)。该委员会的第一项任务将是评估和进一步发展OpenAI的流程和安全防护措施,并在90天内向董事会提出建议。公司表示,然后将以符合安全和安全性要求的方式公开发布其采纳的建议。探索更多关于这些主题的内容人工智能(AI)OpenAIChatGPT新闻分享重复使用此内容请注意



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

从韩国全球人工智能峰会中学到了什么

在通过六项(非常漫长的)协议后,我们可以称这次旨在制定人工智能监管未来的会议为成功吗?
不接收《TechScape》的邮件?在这里注册

身体:对于第二届全球人工智能峰会,成功看起来是什么样子?当上周产业的伟大和良好主持人汇聚在首尔以东的韩国科学技术研究院这座庞大的山顶校园时,这是我一直在问自己的问题。


如果我们通过产生的声明数量来排名这个事件,那么它是一个巨大的成功。在不到24小时内——从晚上8点开始的虚拟“领导峰会”到与韩国和英国科学技术部长共同举行的联合新闻发布会结束——我数到了不少于六项协议、协议、承诺和声明,都表明了这次活动成功让人们团坐在一起达成协议。

人工智能前沿安全承诺:
在前所未有的英国伦敦布莱切利公园峰会上引入了志愿人工智能安全标准后,“在首尔随之举行的继续峰会前夕,有首批16家公司已经签署了承诺,”Rishi Sunak说。“这些承诺确保世界领先的人工智能公司将对其开发安全人工智能计划提供透明度和责任。”Sunak说。“这为人工智能安全的全球标准奠定了先例,这将释放这项变革性科技的好处。”

向人工智能安全科学国际合作意向的首尔声明:
这些机构将开始共享关于模型的信息,包括其限制、能力和风险,以及监控发生“人工智能危害和安全事件”的信息,并分享资源,以推动全球对人工智能安全科学的理解。

首尔部长声明:
包括英国、韩国、法国、美国、阿联酉和欧盟在内的27个国家已签署了在未来几个月内开发用于评估人工智能风险的提案,这一系列协议标志着AI首尔峰会的结束。首尔部长声明首次看到各国同意制定边界人工智能发展和部署的共同风险门槛的提议,包括达成一致,即模型能力可能在没有适当减缓措施的情况下构成“严重风险”。这可能包括帮助恶意行为者获取或使用化学或生物武器,以及人工智能逃避人类监督的能力,例如通过操纵和欺骗或自主复制和适应。

此外,还有安全、创新和包容人工智能首尔宣言,概述了11个参与国家和欧盟同意继续前进的共同基础,以及向人工智能安全科学国际合作意向首尔声明,勾勒了实际目标的轮廓。

首尔人工智能商业承诺也看到14家公司(与之前签署前沿人工智能安全承诺的16家公司部分重叠)“致力于负责任的人工智能发展、推进和共享利益”。

行动号召
在韩国科学技术研究院举行的AI首尔峰会部长会议。摄影:Anthony Wallace/AFP/Getty Images

如果你的眼睛发愣,那是可以理解的。我自己也感到困惑,而且我曾在那里。问题在于这次活动的双重主办方没有提供帮助。对于英国来说,前沿人工智能安全承诺是高价票,与之配套的是技术部长在首尔对媒体的评论提供了采访。在英语媒体中,尽管它在较大程度上影响了南朝鲜代表团的成就,但首尔人工智能商业承诺几乎被忽视了。 (我的猜测是,鉴于此前承诺中包含了三星和Naver,而首尔承诺中有六家国内公司和八家国际公司,因此,初步承诺仅争议了南朝鲜的技术领域。)通过将它全都分成组别解释一切可能会更简单。有两份来自企业的竞争性承诺,每份都详细说明了他们打算遵守的略有不同的自愿准则;有来自国家的三份重叠声明,阐明他们实际上想要从AI峰会中获得什么,以及在接下来的六个月内他们将如何达成共识;还有来自国家人工智能安全机构的一个具体行动计划,详细说明他们将如何以及何时一起合作来更多地了解他们试图检查的尖端技术。

跳过电子通讯推广
注册TechScape
免费周刊通讯
Alex Hern每周深入探讨技术如何塑造我们的生活
输入您的电子邮件地址 注册
隐私声明:通讯可能包含有关慈善机构、在线广告以及由外部方资助的内容信息。有关更多信息,请参阅我们的隐私政策。我们使用Google reCaptcha保护我们的网站,Google的隐私政策和服务条款适用。
通过电子通讯推广之后
有一个明显的反对意见,那就是这些协议没有牙齿,甚至没有足够的细节来确定某人是否在尝试遵守它们。“公司决定什么是安全的,什么是危险的,并自愿选择如何应对,这是有问题的,”艾达·洛夫莱斯研究所的代理主任Francine Bennett告诉我。类似地,持续看不到这些协议与此前将参与者带到韩国之前就基本敲定的相互关系,感觉有些奇怪。有时候,当协议和发布继续以与现场发生的事件几乎没有关系的形式出现时间,这感觉就像是一封电子邮件可以概括的峰会。

仅仅是被邀请
事实略有不同:峰会的成功是它的举办。这听起来就像是最微不足道的赞扬,但这对于任何这样的事件都是真实的。是的,峰会的关键协议在它开始之前就已经编排好了——但通过提供一个硬性截止日期和一个宣布成功的舞台,这个事件给了每个人一个签约的动机。虽然这些协议确实没有牙齿,但它们也是在峰会结束后真正要做的工作的起点。公司和政府签署共同描述现实的共同署名是开始进行必要的技术讨论的第一步。当“我们都想要同样的东西”这一陈述是真实时,它是一种强大的声明。而且,当你仔细划定界限时,它仍然是真实的。不接收《TechScape》的邮件?在这里注册完整文章

探索更多关于这些话题的内容
人工智能(AI)
TechScape通讯
计算
意识
通讯

重用此内容。请注意:标题、日期、正文三部分内容,放入到对应的位置,标题内容需要翻译为中文。最后只需要输出为Makedown源文件格式内容。


感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB