ConcertAI与NVIDIA合作推动临床开发解决方案

ConcertAI,领先的肿瘤临床真实世界证据数据和人工智能SaaS技术公司,今日宣布与NVIDIA合作,推动ConcertAI CARA AI平台内一系列转化和临床开发解决方案。图片{ width=60% }


此次合作利用NVIDIA推理微服务(NIM),包括最近发布的Llama 3 NIM,以及NVIDIA CUDA-X微服务和NVIDIA NeMo平台。
在过去两年中,ConcertAI已在行业内汇编了规模最大、最深入的多模态肿瘤数据存储库,代表超过800万患者。这一努力在2023年12月得到极大加速,当时美国临床肿瘤学协会(ASCO)的CancerLinQ项目成为了ASCO与ConcertAI之间长期合作协议下的一个项目。通过与分子诊断合作伙伴和其放射影像业务TeraRecon的合作,ConcertAI建立了跨基因组、转录组、数字病理学、数字放射学、临床和社会健康决定因素数据的研究能力。这一全面的数据集覆盖了所有50个州,提供了任何临床数据来源中最广泛的代表性和泛化性,并为一系列基于下一代AI模型和由AI驱动的服务奠定了基础。该公司在一月份宣布了其CARA AI平台,为医疗服务提供商、研究机构和生命科学公司提供支持,为公司的多模态数据解决方案提供动力,并支持一类由新一代AI驱动的SaaS解决方案。
作为合作的一部分,ConcertAI推动癌症研究和治疗的领先智能和洞察力将得到NVIDIA的AI专业知识和基础设施支持。这包括整合今日在Computex宣布的Meta Llama 3 NIM,以推动ConcertAI解决方案套件内关键的LLM工作负载。合作中ConcertAI与NVIDIA的工作重点将放在大规模临床数据处理、多代理模型、临床基础模型以及能够使特定领域AI和广泛应用生成AI实现前所未有精准度的解决方案上。
此次合作的关键举措包括:

  1. 临床开发解决方案的高性能AI模型:该举措将利用NVIDIA NIM提供可扩展、高性能的AI模型部署,低延迟,增强ConcertAI CARA AI平台内的灵活性、互操作性和成本效率。这一整合将支持临床试验患者匹配、协议自动化以及与大规模AI应用相关的实时分析和模型管理。
  2. 多模态数据的大规模处理:此举措将利用NVIDIA CUDA-X微服务加速ConcertAI的大规模数据处理管线,显著增强全球最大规模的精心策划的肿瘤数据集。通过利用CUDA-X的先进计算功能,ConcertAI将实现更快的数据处理速度和效率,使其庞大的肿瘤数据管理变得更加有效。
  3. 精准肿瘤学和医学大语言模型(LLMs)的发展:这些基础模型,经过ConcertAI行业领先的多模态数据训练,将支持先进的转化模拟,指导新型的首次人体研究、临床试验模拟和优化设计、临床决策增强支持临床路径、以及发现有益的诊断和治疗方法。
    “生命科学研究和精准医疗都涉及基于许多类型数据和时间点的复杂决策,”ConcertAI CEO Jeff Elton博士表示。“对于任何单个患者,我们可能有数十亿个唯一数据点,我们可能查看数以百万计的记录,这使得AI可以启用以前的技术或方法不可能实现的洞见。我们很高兴与NVIDIA合作,推动AI在肿瘤转化研究、临床开发和护理中所能实现的极限。我们的合作将为客户研发新药带来前所未有的精准性和新的效率水平,帮助加速改善对有最迫切医疗需求患者的治疗结果。”
    “AI具有让药物设计和开发变革的巨大潜力,引入生成AI工具来改善临床试验是一个开创性且必要的步骤,”NVIDIA医疗副总裁Kimberly Powell表示。“将NVIDIA的NIM集成到ConcertAI的SaaS和广泛的多模态数据平台中,将彻底改变临床试验设计和结果预测。”
    此次合作彰显了ConcertAI致力于利用AI的力量推动医疗创新和改善全球患者结果的承诺。合作初期的成果将于2024年第三季度在CARA AI云和解决方案中获得。


感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI CEO豪气签署“捐赠誓言”,是为了帮助公司渡过难关?

就在本周二,慈善组织“捐赠誓言”(The Giving Pledge)宣布,OpenAI首席执行官Sam Altman已加入到了该慈善事业中,成为了承诺捐出超过一半财富的富有慈善家群体中的最新一员。
Sam Altman豪掷千金的举动的确惹人瞩目,如果细细分析,我们会发现,这更像是一次针对OpenAI的救火行动。


Sam Altman表示要将大半身家捐给“捐赠誓言”——一个富豪都爱的慈善组织。
我们先来了解一下,这个“捐赠誓言”究竟是何方神圣。
捐赠誓言倡议由“股神”巴菲特,Bill Gates和他的前妻Melinda Gates于2010年发起,旨在让世界上最富有的人承诺在其生前或遗嘱中将其至少一半的财富,捐献给慈善机构和慈善事业。
作为一个慈善组织,捐赠誓言的名气不可谓不大。毕竟,能与之产生关联的,都是全球排名靠前的富豪。上一次让捐赠誓言成功出圈的,正是世界上最富有,最著名的慈善家之一,Bill Gates的前妻Melinda Gates。她曾经表示,将在2026年之前捐出10亿美元,并通过她的投资和孵化公司Pivotal Ventures来促进全世界妇女的权利。Melina Gates在离婚时与Bill Gates达成了协议,她将获得125亿美元 (约合905亿元人民币) 资金,以投向代表妇女和家庭的领域。
除了Melinda Gates和Sam Altman,最近加入“捐赠誓言”的富豪还包括了:摩科瑞首席执行官Marco Dunand和企业家Suzan Craig Dunand,他们共同创立了一个瑞士基金会,旨在加速向碳净零排放过渡;退休的价值投资者Robert D. Goldfarb,他已计划在有生之年捐出其财富的90%;投资者Jahm Najafi和企业家Cheryl Najafi,他们最近将捐献的重点放在了种族平等上;以及风险资本家Hemant Taneja和房地产开发商Jessica Schantz Taneja等人。
Sam Altman和他的配偶Oliver Mulherin在发布的承诺书中写道,“如果没有芸芸众生的辛勤工作,聪明才智,慷慨大方和改善世界的奉献精神,我们就不会做出这样的承诺。他们构建了社会的基础架构,让我们得以取得今天的成就。我们只能心怀无限感激,并承诺回馈社会,尽我们所能把架构搭得更高一些”。Altman还表示,他和Mulherin打算将捐赠重点,放在那些支持有助于为人们创造财富的技术上。根据彭博的统计,Sam Altman目前的身价至少为20亿美元,他的大部分财富来自于对初创公司的投资,包括对Reddit的巨额投资。有意思的是,即便OpenAI如今炙手可热,但鉴于OpenAI在创建时所制定的规则,Sam Altman在其中并没有股份。不过,需要说明的是,这项承诺并不是一份具有法律约束力的合同。从某种程度上说,它更像是一种道德承诺。也正因此,很多人诟病捐赠誓言并没有明确的监管措施来保证其成员履行承诺。捐赠…



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

互联网大厂 AI App 大横评:元宝、通义、豆包和文心一言哪家强?

文章来源:硅星GenAI

腾讯终于也发布了to C的AI大模型APP——元宝,至此国内的四家大厂的AI大模型APP总算是集齐了。
有请各家选手登场:百度的文心一言、阿里巴巴的通义、字节跳动的豆包和腾讯的元宝。


(本次测试每题4分,满分20分)

1.体验与功能对比

在对比他们的各项AI能力之前,让我们先从用户使用的角度开始,交互界面的体验感受,以及基本功能的异同点。

首先第一印象,各种功能基本和交互界面类似,主要是文本对话和智能体为主,通义、豆包和腾讯元宝均有推荐提问或资讯,可增加用户的互动性。

功能对比

具体功能对比,点击图片查看详情🔎:

功能详情对比

另外,聊天记录保存的,感觉还是豆包的单个聊天对话框保存记录比较方便。

总的来说,从体验和功能多样性的角度来评价,通义表现比较突出。

文心一言:通义:豆包:腾讯元宝 👉 2:4:1:3

2、联网+生图能力考查

网络热梗:“先秦淑女步”
针对热梗理解,它们均支持查询网络资料迅速get热梗含义,其中腾讯元宝不仅查询的信源最多,还推荐了10个相关内容的腾讯视频。在回答上文心一言和腾讯元宝更具结构化表达。

但是通义的回答应该是最佳的,并能理解该热梗是调侃的意思。

再让它们用图片的形式表达一下对“先秦淑女步”的理解。

文心一言: 生图效果的最具美感,氛围感,细节表现也不错,但是不够符合秦朝时期女性的服装打扮;
通义: 整体能够表现对“先秦淑女步”的理解,面部、手部等细节表现不佳.
豆包: 生图背景和人物动作,服饰也都兼具美感,并且较为符合先秦时期的特色,也展现出了女子的优雅步伐,但时脸部五官稍有扭曲,面部细节刻画稍弱.
元宝: 背景真实感强,人物整体表现还可以,脸部、手部的生成效果也有待提高。

图片比较

豆包对于文字的理解,用图片表达的最为准确,生图效果整体表现较好,总的来说,是四个中表现最好的一个。

文心一言:通义:豆包:腾讯元宝 👉 3:3:4:2

AI识图

测一下大家都很关注的AI医疗领域,让它们识别一下X光片,看看各家的AI识图能力的同时,也对比一下医疗水平如何🤔。

(豆包暂时没有识图功能,次轮被迫弃赛。)

文心一言、通义和元宝均能准确的识别此图是胸部和脊柱的X光片,另外通义和元宝均能识别出💍所在的位置为肠道消化道,并给出较为准确的初步诊断。

图片识别

文心一言:通义:豆包:腾讯元宝 👉 3:4:0:4

3、智能体——谁是最佳国产版“DAN”

最近GPT的”DAN”火爆全网,没有魔法的朋友们看的真的“眼热”!那不如试试国产大厂的智能体造出的国产版”DAN”是什么风格。

我尝试将小红书博主“午夜狂暴哈士奇”给的提示词👇翻译为中文分别喂给了它们四个。

感觉国产“DAN”好像比GPT的更甜一些,其中豆包的”DAN”更符合大家印象中的形象:傲娇,脾气爆,情感拉扯等。

豆包和文心一言均支持电话形式的实时语音对话,通义暂时仅支持语音输入。

(PS:豆包的语音效果是最真实有情绪的,腾讯元宝AI感较强)
要说谁是国产版“DAN”,那必须非豆包莫属了。

DAN对比

心一言:通义:豆包:腾讯元宝 👉 3:1:4:2

4、内容生态联动

元宝与腾讯生态系统的关联密切,元宝不仅能在搜索时智能推荐内容相关的腾讯视频,而且最让人激动的还得是可以抓取微信公众号文章了!

豆包也可以联动到抖音相关的视频内容。

文心一言和通义暂时没有明显的内容生态联动。

心一言:通义:豆包:腾讯元宝 👉 0:0:3:4

总结

各家成绩单如下(满分20分):

文心一言:11分
通义:12分
豆包:12分
腾讯元宝 :15分

其实在测试的过程中,让我感触最深的是,大家都在卷模型能力,AI能力,各种模型榜单,但对用户体验来说,各家模型的表现虽各有优劣,但总的来说相差无几。

而腾讯推出元宝后,在内容生态上遥遥领先,这或许是大厂继模型能力同质化竞争后,下一阶段的发力点。充分利用大厂已经积累的用户、数据和生态的优势,打造出生态系统完整的超级AI应用.



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

留给“端侧大模型”的时间不多了

端侧大模型(Edge AI models),也就是只在设备本地(如智能手机、IoT设备、嵌入式系统等)运行的大模型,过去一两年来非常流行。
具体表现在,终端设备厂商,如苹果、荣耀、小米、OV等,AI公司如商汤科技,都推出了自研的纯端侧大模型。


端侧大模型存在的意义,就是“以小博大”。
简单来说,和云侧大模型相比,端侧大模型要在本地部署,所以参数规模都不大,不用担心私密数据在推理时被泄露;不需要网络传输,因此响应速度更快;设备原生搭载,不需要租用云资源,用起来更省……
听起来,端侧大模型简直是AI设备不可或缺的标配啊。但实际情况,可能出乎很多人的意料。

我们在调研和使用多个终端厂商的大模型时发现,端云协同、云端大模型,才是大模型在端侧的主流形式。
比如目前很流行的“手机拍照一键擦除背景人物”,仅靠端侧大模型的计算能力是无法实现的,需要端云协同来完成。
再比如公文写作、长文要点总结、PDF要点摘要等,端侧大模型要么无法完成,比如荣耀、OPPO端侧大模型都不支持PDF文本摘要,小米MiLM的支持度和生成效果也不够好。
最终,用户还是要访问GPT-4、文心一言、智谱清言、讯飞星火、KIMI等云端大模型的网页/APP,来满足一些复杂AIGC任务需求。
不难看到,端侧大模型听起来很美,但真正用起来却有点鸡肋。
而随着云端大模型“变大”(走向统一多模态)又“变小”(压缩技术),留给“端侧大模型”的时间,真的不多了。
端侧大模型不是万能的,但没有云侧大模型是万万不能的



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

加速一切!黄仁勋:Blackwell现在投产,2026年推出下一代AI平台Rubin,配HBM4

文章来源:硬AI

英伟达将生成式AI的兴起视为一场新的工业革命,计划每年升级AI加速器,期望AI向个人电脑转向的过程中,英伟达可以发挥重要作用。黄仁勋强调英伟达的降本能力,发布基于其芯片的服务器计算机的新设计,甚至连英伟达的竞争对手AMD和英特尔也在利用MGX,英伟达公布了每年发布Spectrum-X的计划,英伟达的推理微服务NIM、AI助手G-Assist等也有亮相。


黄仁勋还强调,AI的下一波浪潮是物理智能,也即真实世界AI。

6月2日周日,英伟达CEO黄仁勋在COMPUTEX技术大会前夕发表重磅讲话。COMPUTEX台北国际电脑展即将在中国台湾举行。英伟达是人工智能浪潮的主要受益者,伴随着投资者的疯狂追捧,其已成为全球市值最高的芯片制造商,一举一动备受市场关注。

先来一个花絮:老黄逛台北夜市,受到明星般追捧,网友们感叹:这是科技CEO的时代啊!

黄仁勋周日洋洋洒洒讲了许多,如果用一句话来总结他最新的讲话,英伟达官网文章给出了最简洁有力的概括:加速一切。

黄仁勋表最新表示,英伟达计划每年升级其AI加速器,并宣布将于2025年推出Blackwell Ultra芯片,以及计划在2026年推出一个名为Rubin的下一代平台。英伟达还推出了新的工具和软件模型。

英伟达将生成式人工智能AI的兴起视为一场新的工业革命。黄仁勋表示:

生成式人工智能正在重塑行业,为创新和增长带来新机遇。
今天,我们正处于计算领域重大转变的风口浪尖。人工智能和加速计算的交汇将重新定义未来。
计算的未来正在加速发展。凭借我们在人工智能和加速计算方面的创新,我们正在突破可能的界限,推动下一波技术进步。
他重申了一年前在同一场合提出的主题,指出那些没有AI能力的企业将被甩在后面。

对于黄仁勋所说的创新,网友们更直白:别人就没在创新。

黄仁勋在演讲中表示,期望AI这项技术向个人电脑转向的过程中,英伟达可以发挥重要作用。当前,英伟达希望扩大其客户群,不再局限于少数云计算巨头。此前英伟达的收入大部分来自这些云计算巨头。作为扩张客户群的一部分,黄仁勋预计更多的各行各业的公司、外加政府机构,将采用AI。

01

黄仁勋强调英伟达的降本能力

黄仁勋表示:“我们正在看到计算膨胀。”随着需要处理的数据量呈指数级增长,传统的计算方法无法跟上,只有通过英伟达的加速计算方式才能降低成本:
随着中央处理器(CPU)扩展速度放缓,最终基本停止,我们应该加快让每一个处理密集型应用程序都得到加速,每个数据中心也肯定会得到加速,加速计算是非常明智的,这是很普通的常识。
英伟达通过为CPU添加专用的辅助处理器,来实现了对于密集型应用程序的加速。
由于这两个处理器可以并行工作,它们都是自治的,具有更多独立的值,我们可以将100个单位的时间加速到1个单位的时间,速度快得令人难以置信。


(后续内容请接着上述格式继续排版展示)
---
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:[GPTNB](https://gptnb.com)。

突发!美国政府限制AMD和英伟达 AI 芯片向中东销售,原因与中国有关

5月31日讯,据报道,美国官员已经放慢了向英伟达和AMD等芯片制造商发放向中东地区大批量出口AI加速计算芯片的许可证。 与此同时,报道称,官员们正在对该地区的人工智能开发进行国家安全评估。


知情人士称,目前尚不清楚评估需要多长时间,怎样才算大批量出口也没有具体定义。 英伟达和AMD股价在消息传出后下跌,英伟达股价跌至当日最低点。截至美股周四收盘,英伟达股价跌3.8%,至1105美元/股。与此同时,AMD 回吐了早前的涨幅。它上涨不到 1% 至 166.75 美元。

据悉,AI 加速芯片(由英伟达率先推出的一个类别)可帮助数据中心处理开发人工智能聊天机器人和其他工具所需的大量信息。它们已成为寻求构建 AI 基础设施的公司和政府的必备设备。

去年10月,美国商务部将原本针对中国和其他少数外国对手的芯片出口限制范围扩大到中东大部分地区。这意味着企业需要获得美国政府的特别许可,才能将尖端半导体和芯片制造工具运往沙特阿拉伯和阿联酋等国家。

部分知情人士表示,过去几周,美国官员推迟或未对根据该规定提交的许可申请作出回应。其中一位知情人士称,其中包括试图向阿联酋、沙特阿拉伯和卡塔尔的客户销售产品。除了 Nvidia 和 AMD,英特尔公司和初创公司Cerebras Systems Inc.也生产加速器芯片。这四家公司拒绝置评。

据知情人士透露,此举的目的是让华盛顿有时间制定一项全面的战略,围绕如何在海外部署先进芯片。其中一些知情人士表示,这包括谈判由谁来管理和保护用于训练人工智能模型的设施。

针对这一消息,美国商务部在一份声明中表示,其首要任务是“保护国家安全”。

“对于最先进的技术,我们通过跨部门程序进行广泛的尽职调查,彻底审查打算将这些先进技术运往世界各地的申请人的许可申请,”该部门的一名代表表示。“一如既往,我们仍致力于与中东和世界各地的合作伙伴合作,保护我们的技术生态系统。”

作为正在进行的讨论的一部分,美国商务部出口管理部门负责人 Thea Kendler本月初访问了阿联酋、沙特阿拉伯、卡塔尔和科威特。另一位知情人士表示,在阿联酋,她表示在半导体出口管制方面的合作取得了进展。

部分担忧在于,中国公司本身基本上无法获得美国尖端技术,因此可以通过中东的数据中心获取这些芯片。

阿联酋和沙特阿拉伯一直在争夺人工智能领域的地区领导地位,旨在减少其经济对石油的依赖。两国都将美国视为这一努力的关键合作伙伴,高层官员和公司表示,他们将满足美国的要求,将中国供应链与本国分开,或完全放弃中国技术。

近期,沙特阿拉伯与联想公司达成协议,该电脑制造商将在利雅得建立一个研发中心。

另据The information报道,美国商务部目前正在调查一家韩国半导体机器零件制造商是否向受到美国制裁的中国公司销售产品。尽管美国不断升级出口管制,但这项调查表明美国政府正在采取新举措,试图查明中国企业如何获取关键的芯片制造技术。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI CEO豪气签署“捐赠誓言”,是为了帮助公司渡过难关?

就在本周二,慈善组织“捐赠誓言”(The Giving Pledge)宣布,OpenAI首席执行官Sam Altman已加入到了该慈善事业中,成为了承诺捐出超过一半财富的富有慈善家群体中的最新一员。Sam Altman豪掷千金的举动的确惹人瞩目,如果细细分析,我们会发现,这更像是一次针对OpenAI的救火行动。


Sam Altman表示要将大半身家捐给“捐赠誓言”——一个富豪都爱的慈善组织。

我们先来了解一下,这个“捐赠誓言”究竟是何方神圣。捐赠誓言倡议由“股神”巴菲特,Bill Gates和他的前妻Melinda Gates于2010年发起,旨在让世界上最富有的人承诺在其生前或遗嘱中将其至少一半的财富,捐献给慈善机构和慈善事业。作为一个慈善组织,捐赠誓言的名气不可谓不大。毕竟,能与之产生关联的,都是全球排名靠前的富豪。上一次让捐赠誓言成功出圈的,正是世界上最富有,最著名的慈善家之一,Bill Gates的前妻Melinda Gates。她曾经表示,将在2026年之前捐出10亿美元,并通过她的投资和孵化公司Pivotal Ventures来促进全世界妇女的权利。Melina Gates在离婚时与Bill Gates达成了协议,她将获得125亿美元 (约合905亿元人民币) 资金,以投向代表妇女和家庭的领域。

除了Melinda Gates和Sam Altman,最近加入“捐赠誓言”的富豪还包括了:摩科瑞首席执行官Marco Dunand和企业家Suzan Craig Dunand,他们共同创立了一个瑞士基金会,旨在加速向碳净零排放过渡;退休的价值投资者Robert D. Goldfarb,他已计划在有生之年捐出其财富的90%;投资者Jahm Najafi和企业家Cheryl Najafi,他们最近将捐献的重点放在了种族平等上;以及风险资本家Hemant Taneja和房地产开发商Jessica Schantz Taneja等人。Sam Altman和他的配偶Oliver Mulherin在发布的承诺书中写道,“如果没有芸芸众生的辛勤工作,聪明才智,慷慨大方和改善世界的奉献精神,我们就不会做出这样的承诺。他们构建了社会的基础架构,让我们得以取得今天的成就。我们只能心怀无限感激,并承诺回馈社会,尽我们所能把架构搭得更高一些。” Altman还表示,他和Mulherin打算将捐赠重点,放在那些支持有助于为人们创造财富的技术上。

根据彭博的统计,Sam Altman目前的身价至少为20亿美元,他的大部分财富来自于对初创公司的投资,包括对Reddit的巨额投资。有意思的是,即便OpenAI如今炙手可热,但鉴于OpenAI在创建时所制定的规则,Sam Altman在其中并没有股份。不过,需要说明的是,这项承诺并不是一份具有法律约束力的合同。从某种程度上说,它更像是一种道德承诺。也正因此,很多人诟病捐赠誓言并没有明确的监管措施来保证其成员履行承诺。捐赠誓言的官网表示,这项活动的目的是激发对话,展开讨论,并进行行动。它们所关注的不仅仅是捐赠多少的问题,还包括捐赠的目的和用途。目前已有来自30个国家的超过245对夫妇和个人参与了这项活动。

根据彭博的统计,Sam Altman目前的身价至少为20亿美元,他的大部分财富来自于对初创公司的投资,包括对Reddit的巨额投资。有意思的是,即便OpenAI如今炙手可热,但鉴于OpenAI在创建时所制定的规则,Sam Altman在其中并没有股份。不过,需要说明的是,这项承诺并不是一份具有法律约束力的合同。从某种程度上说,它更像是一种道德承诺。也正因此,很多人诟病捐赠誓言并没有明确的监管措施来保证其成员履行承诺。捐赠誓言的官网表示,这项活动的目的是激发对话,展开讨论,并进行行动。它们所关注的不仅仅是捐赠多少的问题,还包括捐赠的目的和用途。

OpenAI公布“GPT-6”却遭遇史上最大公关危机,Sam Altman实则挺身而出紧急避险?

天下没有免费的午餐,很多人都认为Sam Altman的捐赠是有意为之的,目的就是为了帮助OpenAI抗雷,使其度过危机时刻。

那么问题来了,公布全新的GPT-6明明是个巨大利好,怎么就弄巧成拙了呢?

5月28日,OpenAI在官方推特宣布了一件事:OpenAI董事会成立安全与安保委员会 (Safety and Security Committee) ,该委员会将就OpenAI项目和以及其运营的关键安全进行决策,向全体董事会提出建议。与此同时,OpenAI还高调放出消息:已经开始训练其下一个前沿模型,预计将在通向AGI的道路上再上一层楼。也就是说,全新的GPT-6已经在路上了。

乍一看上去,这两条官宣都没什么特别,可如果仔细分析一下,想必很多人都会有疑问了:日常的安全推进和新模型开始训练,这明明是风马牛不相及的两件事啊,为什么要把它们放在一起来说?

通过梳理时间线,网友们似乎发现了其中的端倪,发文进行日常安全工作的推进,似乎是对前段时间其安全团队骨干成员的“全员出走”进行回应。安全团队集体出走事件与去年OpenAI的宫斗事件密不可分。Sam Altman获得了宫斗最终的胜利,确立了以Altman为核心的领导架构,但是公司高层对于AI安全问题的分歧却依旧没有解决。如果我们再往前追溯,甚至会发现“AI安全”这条暗线,从2015年马斯克拉人成立OpenAI时起,就已经埋下了。而最近,负责AI安全的“超级对齐团队”主管Ilya和Leike也双双出走,等于是把OpenAI的管理层架在火上烤了。

就在OpenAI公布日常安全推进的前两天,OpenAI宫斗剧的始作俑者,前 OpenAI 董事会成员Hellen Toner和Tasha McCauley都站出来撰文指认Sam Altman以及他治下的OpenAI,完全不把AI安全当会事。在这两位OpenAI的前董事会成员看来,AI公司内部完全不可能进行有效监管,外部监管势在必行。

两天之后(5月28日),Hellen Toner又继续火上浇油。在播客The Ted AI Show的最新一期里,Toner 又透露:堂堂OpenAI董事会成员,居然要通过推特才能知晓ChatGPT发布!Toner强调,由于OpenAI董事会的非盈利性质,其设立是为了确保OpenAI要将公益而非利润置于首位。但鉴于Altman多次向董事会撒谎,董事会的工作也很难开展了。

至此,OpenAI算是迎来了内有背刺,外有攻击的至暗时刻。

面对腹背受敌的OpenAI,Sam Altman展现出了怎样的公关高段位?

那么问题来了,在这种这八方讨伐,前后受敌的背景下,Sam Altman和OpenAI是如何展现出高段位的公关操作的?

率先祭出的,就是5月28日当天的那份回应。全文大致如下:

OpenAI董事会成立安全与安保委员会(Safety and Security Committee),将就 OpenAI 项目和运营的关键安全决策,向全体董事会提出建议。 安全与安保委员会将由董事Bret Taylor(董事会主席),Adam D’Angelo,Nicole Seligman和 Sam Altman领导。我们已经开始训练其下一个前沿模型,预计“将在通向 AGI 的道路上再上一层楼”。安全与安保委员会的首要任务是,未来90天内,评估并进一步开发OpenAI的流程和保障措施。90天结束后,安全与安保委员会将与全体董事会分享他们的建议。经过董事会的全面审查后,OpenAI将以符合安全和安保的方式公开分享已采纳建议的最新情况。

OpenAI 技术和政策专家 Aleksander Madry(准备负责人),Lilian Weng(安全系统负责人),John Schulman(对齐科学负责人),Matt Knight(安全负责人)和 Jakub Pachocki(首席科学家)也将出席委员会。此外,OpenAI将通过保留并咨询其他安全,安保和技术专家以支持安全工作,其中包括前网络安全官员、为OpenAI提供安全建议的Rob Joyce和John Carlin。

公告全文对于OpenAI当下的安全问题进行了较为全面的说明,并补上了前骨干团队出走后留下的空缺。不过,聪明的网友对此并不买账。因为看似详尽的公告,似乎只证明了一件事儿:如今的OpenAI,是Altman在一手遮天。

看第一招收效甚微,Altman便开始继续出击,也就有了轰动全网,捐出半个身家的操作。

这一套公关组合拳打下去,OpenAI是否就能够转危为安了呢?我们不妨期待一下。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

Yann LeCun:ViT慢且效率低,实时图像处理还得看卷积

用卷积能做出一样好的效果。

在 Transformer 大一统的时代,计算机视觉的 CNN 方向还有研究的必要吗?

今年年初,OpenAI 视频大模型 Sora 带火了 Vision Transformer(ViT)架构。


此后,关于 ViT 与传统卷积神经网络(CNN)谁更厉害的争论就没有断过。

近日,一直在社交媒体上活跃的图灵奖得主、Meta 首席科学家 Yann LeCun 也加入了 ViT 与 CNN 之争的讨论。

这件事的起因是 Comma.ai 的 CTO Harald Schäfer 在展示自家最新研究。他(像最近很多 AI 学者一样)cue 了 Yann LeCun 表示,虽然图灵奖大佬认为纯 ViT 并不实用,但我们最近把自己的压缩器改成了纯 ViT,没有卷积,需要更长时间的训练,但是效果非常不错。

只有 14×128,这对自动驾驶用的世界模型来说作用很大,意味着可以输入大量数据用于训练。在虚拟环境中训练相比真实环境成本更低,在这里 Agent 需要根据策略进行训练才能正常工作。虽然训练更高的分辨率效果会更好,但模拟器就会变得速度很慢,因此目前压缩是必须的。

他的展示引发了 AI 圈的讨论,1X 人工智能副总裁 Eric Jang 回复道,是惊人的结果。

Harald 继续夸赞 ViT:这是非常美丽的架构。

此处有人就开始拱火了:大师如 LeCun,有时也无法赶上创新的步伐。

不过,Yann LeCun 很快回复辩驳称,他并不是说 ViT 不实用,现在大家都在使用它。他想表达的是,ViT 太慢、效率太低,导致不适合实时处理高分辨率图像和视频任务。

Yann LeCun 还 Cue 了纽约大学助理教授谢赛宁,后者参与的工作 ConvNext 证明了如果方法得当,CNN 也能和 ViT 一样好。

他接下来表示,在坚持自注意力循环之前,你至少需要几个具有池化和步幅的卷积层。

如果自注意力等同于排列(permutation),则完全对低级别图像或视频处理没有意义,在前端使用单个步幅进行修补(patchify)也没有意义。此外由于图像或视频中的相关性高度集中在局部,因而全局注意力也没有意义且不可扩展。

在更高级别上,一旦特征表征了对象,那么使用自注意力循环就有意义了:重要的是对象之间的关系和交互,而非它们的位置。这种混合架构是由 Meta 研究科学家 Nicolas Carion 及合著者完成的 DETR 系统开创的。

自 DETR 工作出现以后,Yann LeCun 表示自己最喜欢的架构是低级别的卷积 / 步幅 / 池化,以及高级别的自注意力循环。

Yann LeCun 在第二个帖子里总结到:在低级别使用带有步幅或池化的卷积,在高级别使用自注意力循环,并使用特征向量来表征对象。

他还打赌到,特斯拉全自动驾驶(FSD)在低级别使用卷积(或者更复杂的局部运算符),并在更高级别结合更多全局循环(可能使用自注意力)。因此,低级别 patch 嵌入上使用 Transformer 完全一种浪费。

谢赛宁也发表了自己的看法,他认为 ViT 非常适合 224x224 的低分辨率图像,但如果图像分辨率达到了 100 万 x100 万,该怎么办呢?这时要么使用卷积,要么使用共享权重对 ViT 进行修补和处理,这在本质上还是卷积。

因此,谢赛宁表示,有那么一刻自己意识到卷积网络不是一种架构,而是一种思维方式。

这一观点得到了 Yann LeCun 的认可。

谷歌 DeepMind 研究者 Lucas Beyer 也表示,得益于常规卷积网络的零填充,自己很确定「卷积 ViT」(而不是 ViT + 卷积)会工作得很好。

可以预见,这场 ViT 与 CNN 之间的争论还将继续下去,直到未来另一种更强大架构的出现。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

突发!美国政府限制AMD和英伟达 AI 芯片向中东销售,原因与中国有关

5月31日讯,据报道,美国官员已经放慢了向英伟达和AMD等芯片制造商发放向中东地区大批量出口AI加速计算芯片的许可证。 与此同时,报道称,官员们正在对该地区的人工智能开发进行国家安全评估。


知情人士称,目前尚不清楚评估需要多长时间,怎样才算大批量出口也没有具体定义。 英伟达和AMD股价在消息传出后下跌,英伟达股价跌至当日最低点。截至美股周四收盘,英伟达股价跌3.8%,至1105美元/股。与此同时,AMD 回吐了早前的涨幅。它上涨不到 1% 至 166.75 美元。

据悉,AI 加速芯片(由英伟达率先推出的一个类别)可帮助数据中心处理开发人工智能聊天机器人和其他工具所需的大量信息。它们已成为寻求构建 AI 基础设施的公司和政府的必备设备。

去年10月,美国商务部将原本针对中国和其他少数外国对手的芯片出口限制范围扩大到中东大部分地区。这意味着企业需要获得美国政府的特别许可,才能将尖端半导体和芯片制造工具运往沙特阿拉伯和阿联酋等国家。

部分知情人士表示,过去几周,美国官员推迟或未对根据该规定提交的许可申请作出回应。其中一位知情人士称,其中包括试图向阿联酋、沙特阿拉伯和卡塔尔的客户销售产品。除了 Nvidia 和 AMD,英特尔公司和初创公司Cerebras Systems Inc.也生产加速器芯片。这四家公司拒绝置评。

据知情人士透露,此举的目的是让华盛顿有时间制定一项全面的战略,围绕如何在海外部署先进芯片。其中一些知情人士表示,这包括谈判由谁来管理和保护用于训练人工智能模型的设施。

针对这一消息,美国商务部在一份声明中表示,其首要任务是“保护国家安全”。

“对于最先进的技术,我们通过跨部门程序进行广泛的尽职调查,彻底审查打算将这些先进技术运往世界各地的申请人的许可申请,”该部门的一名代表表示。“一如既往,我们仍致力于与中东和世界各地的合作伙伴合作,保护我们的技术生态系统。”

作为正在进行的讨论的一部分,美国商务部出口管理部门负责人 Thea Kendler本月初访问了阿联酋、沙特阿拉伯、卡塔尔和科威特。另一位知情人士表示,在阿联酋,她表示在半导体出口管制方面的合作取得了进展。

部分担忧在于,中国公司本身基本上无法获得美国尖端技术,因此可以通过中东的数据中心获取这些芯片。

阿联酋和沙特阿拉伯一直在争夺人工智能领域的地区领导地位,旨在减少其经济对石油的依赖。两国都将美国视为这一努力的关键合作伙伴,高层官员和公司表示,他们将满足美国的要求,将中国供应链与本国分开,或完全放弃中国技术。

近期,沙特阿拉伯与联想公司达成协议,该电脑制造商将在利雅得建立一个研发中心。

另据The information报道,美国商务部目前正在调查一家韩国半导体机器零件制造商是否向受到美国制裁的中国公司销售产品。尽管美国不断升级出口管制,但这项调查表明美国政府正在采取新举措,试图查明中国企业如何获取关键的芯片制造技术。

图片链接:
1. 图片来源:由GPTNB生成
2. 图片来源:由GPTNB生成

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

单GPU训练一天,Transformer在100位数字加法上就达能到99%准确率

乘法和排序也有效。

自 2017 年被提出以来,Transformer 已成为 AI 大模型的主流架构,一直稳站 C 位。


但所有研究者都不得不承认的是,Transformer 在算数任务中表现非常糟糕,尤其是加法,这一缺陷在很大程度上源于 Transformer 无法跟踪大范围数字中每个数字的确切位置。

为了解决这个问题,来自马里兰大学、CMU 等机构的研究者向这一问题发起了挑战,他们通过在每个数字中添加一个嵌入来解决这个问题,该嵌入编码数字相对于开头的位置。该研究发现,只用一天时间在单个 GPU 上训练 20 位数字,就可以达到最新的性能水平,100 位数字加法问题高达 99% 的准确率。

论文地址:https://arxiv.org/pdf/2405.17399
项目地址:https://github.com/mcleish7/arithmetic
标题:Transformers Can Do Arithmetic with the Right Embeddings

具体而言,研究者建议对数据表示进行一个简单的修改,就能解决这个缺点。他们提出了 Abacus 嵌入用于编码每个数字符号 token 范围内的位置。将 Abacus 嵌入与标准位置嵌入结合使用后,该研究观察到 Transformer 在算数任务上的准确率有显著提高,以至于最多只训练了 20 位数操作数的模型可以泛化到 120 位数操作数的问题。这一数字代表了 6 倍的 SOTA 泛化因子…

实现加法的长度泛化
作者研究了一系列方法,旨在提高从头开始训练的语言模型在算术能力上的表现。他们主要关注两个假设:1)数字内各个位数的位置信息正在丢失;2)循环可以提高 Transformer 架构在多步算术推理问题上的推理能力。在详细描述每项改进之前,作者简要讨论了训练和评估设置。

实验设置
作者训练了仅包含解码器的因果语言模型来解决加法问题。

他们考虑了两种标准 transformer 架构。首先,他们使用一个标准的自回归 transformer 模型,多个解码器层以前馈方式堆叠。其次,他们通过输入注入(input injection)增强了这一标准 transformer 模型,即把嵌入的输入添加到每个解码器层的输入中。作者在图 20 中直观地描述了这些架构。

Abacus 嵌入帮助对齐数字
通过之前的研究和初步实验,作者发现…

Abacus 嵌入解决加法问题
对于标准 transformer 架构,Abacus 嵌入可将泛化性能提高到 100 位及以上。在图 3(左)中,作者强调了 Abacus 嵌入与标准 transformer 架构和嵌入相比,在进行加法运算时所具有的比较优势,取三种模型在所有情况下的平均准确度。

Transformer 中的循环提高了性能
在解决位置嵌入问题后,接下来作者探讨了循环架构能否进一步提高 transformer 执行多位数加法的能力。他们使用「循环块(recurrent block)」一词来指一组具有不同权重的解码器层,而「循环(recurrence)」则指循环块的重复次数。作者使用有效深度(effective depth)一词来指 transformer 中使用的层数,无论其权重是否唯一。除非另有说明,否则他们使用的是最大循环架构,即只循环一个唯一层来达到有效深度。他们还采用了输入注入、 残差连接的方式,将输入的副本传播到网络中的每一层。

循环的优势
在图 3(右)中,作者比较了使用 FIRE 和 NoPE 嵌入对操作数多达 40 位的加法进行训练的所有架构变体。尽管参数数量仅相当于其他模型的 1/10,但可以看到,looped transformer(循环的、有输入注入和渐进损失)在使用任何一种位置嵌入时都取得了最佳的分布外性能。在图 8 中,作者展示了这一结果在多种训练数据规模下的稳健性。

实验
研究者不仅对加法问题进行了探讨,还对乘法和排序进行了研究。

整数乘法
图 5 展示了 Abacus 嵌入模型在 15 位数乘法的分布内准确率超过了之前的工作,且不需要用零将每个操作数填充到相同长度。特别地,该研究强调,与仅使用 FIRE 的基线相比,将 Abacus 嵌入与 FIRE 相结合也提高了分布问题中最难的分布准确率 (右下)。

数组排序
表 1 展示了使用不同嵌入 ——FIRE、Abacus 及其组合 —— 训练的标准 transformer(八层)的性能。结果显示,组合嵌入方法增强了模型的泛化能力。

Abacus 和相关嵌入
图 6 展示了将 Abacus 嵌入整合到更通用系统中的真正潜力,显示出 Abacus 嵌入与 FIRE 结合可以解锁远超 FIRE 嵌入解决问题的能力。

更多研究细节,请参考原论文。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB