曙光存储的“引力弹弓”,让AI向产业宇宙加速狂奔

《流浪地球》中,科学家利用木星的“引力弹弓”效应,为地球加速,成功脱离危机,是整部电影最激动人心的高潮段落。加速,不仅在科幻电影中揪人心弦,对AI行业也十分重要。


比如说,千亿级大模型必须写容错点checkpoint,一旦数据存储发生灾难性故障,导致AI训练中断,对于一些着急上线的企业来说,时间就是生命线,可能造成难以弥补的损失。所以说,确保AI快速稳定地进行,是产业智能化的必要条件。

为AI加速,存储也可以起到“引力弹弓”效应。

试想一下,当你正在滑滑板,有一个速度很快的人从你旁边经过,拉了你一把,就如同弹弓弓弦一样,给了你一个加速前进的力。存力之于AI,就起到了类似的作用。存力和算力互相协同,通过存力来缩短数据读写时间,减少算力的空转等待时间,可以有效提升AI大模型的训练效率。不过,想充分释放存力的“引力弹弓”效应,传统存储的性能、可靠性等,就有些力不从心了。锻造一张最适合AI的“引力弹弓”,曙光存储出手了。

此前,曙光推出的智存产品搭载五级加速方案,已经在政务、科研、金融、医疗等行业场景,相继落地。就在近期,又宣布与智元机器人合作,成为具身智能领域的存力伙伴。在曙光存储的存力底座上,越来越多的AI模型/能力,正加速奔向产业宇宙。我们就跟随这张“引力弹弓”的发射方向,来一场奔赴星辰大海的AI之旅吧。

“引力弹弓”效应,利用了宇宙中天体的引力,当航天器进入引力影响范围时,被拉了一把,行程就会开始加速。对AI来说,存储也自带加速“引力”吗?答案是肯定的。至少从四个方面,存储可以“拉”AI一把:

首先是性能。 计算越复杂,对存储性能和带宽的要求越高,存储必须足够快,才能匹配上GPU或AI芯片,否则就会导致算力空载、空转或等待。在模型训练中断时从checkpoint快速写回,也可以提高AI计算效率。

其次是质量。 “garbage in,garbage out(垃圾进,垃圾出)”,存储承载的数据质量,直接影响到大模型训练的效果,随着大模型需要“咀嚼”的数据规模、类型越来越多,AI存储必须具备对海量规模、异构等数据的高效吞吐和处理能力。

第三是安全。 存储系统的管理审计、权限管理等,从数据I/O通路上保证用户数据的安全可靠,不会有篡改、不可追溯等问题,也是AI用户十分看重的。

第四是优化。 存储可以结合用户业务,进行一些个性化的微调与适配,比如了解到业务数据中的大文件多还是小文件多,随机访问多还是顺序访问多,在此基础上进行参数调整,可以针对性优化,提升业务体验。因此,存储在AI基础设施中的优先级不断提高。去年大模型爆火初期,AI行业用户一开始只关注存储产品的容量,后续则慢慢意识到存储的性能、开放兼容性、AI应用适配性等更多维度指标的重要性。

从能用到智用,存储之于AI的“引力”正越来越大,起到了越来越重要的加速作用。

AI存储对行业用户的吸引力,越来越大,但动辄万亿参数、万卡集群的AI大模型,对存储的要求也指数级上升。市面上是否有超强AI存力的产品,像木星推动地球一样,发挥出强大天体才具备的“引力弹弓效应”呢?曙光决定来打造一个。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

Codeium融资1.25亿美元C轮融资,估值达到15亿美元

Codeium是一家提供生成AI驱动编码平台的公司,利用专有的代码偏向大型语言模型(LLM)来减少软件开发中的低效率,并最大化开发人员的生产力。图片{ width=60% }


该公司已获得由General Catalyst领投的1.5亿美元C轮融资,继续得到Kleiner Perkins和Greenoaks的支持,将总融资额增至2.43亿美元,并将估值推高至15亿美元。

今天,AI驱动的编码加速平台Codeium宣布已获得1.5亿美元C轮融资,使公司估值达到15亿美元,并在不到两年时间内从创立初期就跻身独角兽地位。该轮融资由General Catalyst领投,现有投资者Kleiner Perkins和Greenoaks继续支持。

每一次历史上的技术进步都引领开发者可能性的陡增。AI也不例外。利用AI赋能软件开发的团队将会构建更多、更快、更高质量的产品。AI工具往往承诺帮助,但效果欠佳,提供的支持零散且次级,使工作变得更复杂而非简化。Codeium打破了这一格局,通过提供一个AI驱动的平台,改变开发人员在复杂代码库上的工作方式,使编码更快、更智能、更直观。

Codeium的CEO瓦伦·莫汉(Varun Mohan)表示:“编码的未来并不只是关于更快地书写代码行,而是让开发者有能力思考更广阔、挑战极限、实现非凡之事。这笔新的资金意味着我们更有能力帮助开发者把那些‘如果’变成‘下一个是什么’,拥有创新的自由,无限制地创造,并将挑战转化为增长机遇。”

根据企业客户的具体学习和需求,Codeium将利用这笔新资金加速开发新功能和产品,并增加员工人数。Codeium计划大力投入研发,与客户合作,最大化他们的AI战略,并探索新的战略合作伙伴关系,扩大其影响力和影响范围。

此前公司最新推出了一些技术突破,包括Cortex,一个能够管理复杂编码任务的先进AI驱动的推理引擎,以及Forge,一个减少代码审查周期时间、改善代码审查文化的AI辅助代码审查工具。

General Catalyst的董事总经理昆汀·克拉克(Quentin Clark)表示:“Codeium不仅仅是一个想法,它是一个具有广泛企业采用的完全扩展的业务。他们用于软件开发的genAI工具在真实的生产环境中证明了自己的价值,可靠性至关重要。在我们看来,Codeium以客户为导向的方法已带来了能够在任何环境、IDE或SCM中运行的解决方案,拥有比任何其他公司更广泛的语言支持。”

这一消息正值该公司关键时刻,也是Codeium快速增长时期的延续。在过去的两年里,该公司已经组建了一个由80名专业人士组成的团队,并将用户基数增长到超过70万活跃开发者。企业产品的年度循环收入已达到八位数,自2024年初以来增长了超过500%。Codeium现在每天处理超过1000亿个标记,并已集成到Zillow、戴尔和Anduril等公司的生产工作流程中,显著提升了生产效率。

欲了解更多信息并申请演示,请访问 https://codeium.com/

探索AITechPark,了解人工智能、物联网、网络安全、人工智能科技新闻以及来自行业专家的深刻更新!



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

曙光存储的“引力弹弓”,让AI向产业宇宙加速狂奔

《流浪地球》中,科学家利用木星的“引力弹弓”效应,为地球加速,成功脱离危机,是整部电影最激动人心的高潮段落。加速,不仅在科幻电影中揪人心弦,对AI行业也十分重要。


比如说,千亿级大模型必须写容错点checkpoint,一旦数据存储发生灾难性故障,导致AI训练中断,对于一些着急上线的企业来说,时间就是生命线,可能造成难以弥补的损失。所以说,确保AI快速稳定地进行,是产业智能化的必要条件。

为AI加速,存储也可以起到“引力弹弓”效应。

试想一下,当你正在滑滑板,有一个速度很快的人从你旁边经过,拉了你一把,就如同弹弓弓弦一样,给了你一个加速前进的力。存力之于AI,就起到了类似的作用。存力和算力互相协同,通过存力来缩短数据读写时间,减少算力的空转等待时间,可以有效提升AI大模型的训练效率。

不过,想充分释放存力的“引力弹弓”效应,传统存储的性能、可靠性等,就有些力不从心了。锻造一张最适合AI的“引力弹弓”,曙光存储出手了。

此前,曙光推出的智存产品搭载五级加速方案,已经在政务、科研、金融、医疗等行业场景,相继落地。就在近期,又宣布与智元机器人合作,成为具身智能领域的存力伙伴。在曙光存储的存力底座上,越来越多的AI模型/能力,正加速奔向产业宇宙。我们就跟随这张“引力弹弓”的发射方向,来一场奔赴星辰大海的AI之旅吧。

“引力弹弓”效应,利用了宇宙中天体的引力,当航天器进入引力影响范围时,被拉了一把,行程就会开始加速。对AI来说,存储也自带加速“引力”吗?答案是肯定的。

至少从四个方面,存储可以“拉”AI一把:

首先是性能。 计算越复杂,对存储性能和带宽的要求越高,存储必须足够快,才能匹配上GPU或AI芯片,否则就会导致算力空载、空转或等待。在模型训练中断时从checkpoint快速写回,也可以提高AI计算效率。

其次是质量。 “garbage in,garbage out(垃圾进,垃圾出)”,存储承载的数据质量,直接影响到大模型训练的效果,随着大模型需要“咀嚼”的数据规模、类型越来越多,AI存储必须具备对海量规模、异构等数据的高效吞吐和处理能力。

第三是安全。 存储系统的管理审计、权限管理等,从数据I/O通路上保证用户数据的安全可靠,不会有篡改、不可追溯等问题,也是AI用户十分看重的。

第四是优化。 存储可以结合用户业务,进行一些个性化的微调与适配,比如了解到业务数据中的大文件多还是小文件多,随机访问多还是顺序访问多,在此基础上进行参数调整,可以针对性优化,提升业务体验。

因此,存储在AI基础设施中的优先级不断提高。去年大模型爆火初期,AI行业用户一开始只关注存储产品的容量,后续则慢慢意识到存储的性能、开放兼容性、AI应用适配性等更多维度指标的重要性。从能用到智用,存储之于AI的“引力”正越来越大,起到了越来越重要的加速作用。

AI存储对行业用户的吸引力,越来越大,但动辄万亿参数、万卡集群的AI大模型,对存储的要求也指数级上升。市面上是否有超强AI存力的产品,像木星推动地球一样,发挥出强大天体才具备的“引力弹弓效应”呢?曙光决定来打造一个。

曙光ParaStor分布式全闪存储,作为最懂AI的存储产品,核心特点就是一个字:快。 可以将AI整体表现提升20倍以上,让数据无需等待,AI也就快人一步。具体是怎么做到的?曙光存储运营总监石静向我们解密。

这张最适合AI的“引力弹弓”,有两大核心:一是最强的数据底座,二是最佳的AI应用加速套件。 可以这样理解,数据底座就像是天体本身的引力足够大、足够强。

曙光存储的ParaStor分布式全闪存储,在整个硬件层面进行提升,可以发挥出极致性能。 带宽倍数提升,单个节点可以做到最高150GB/s带宽,一秒钟提供150G的数据吞吐。IOPS十倍提升,一秒钟可以处理320万个I/O请求,实现高效吞吐。

而应用套件,就像是在原有引力基础上再造一个加速引擎,推动AI走得更快。 ParaStor分布式全闪存储采用了业内独家的“五级加速方案”,尽可能地缩短整个I/O流程,让数据更加靠近计算,分别实现了本地内存、Burst Buffer加速层、网络层(RDMA-Based)、存储节点高速层( NVMe SSD-Based )、应用层(存储直达GPU)的五层加速。

最强数据底座+五级加速的最佳AI应用加速套件,成为一张强有力的“引力弹弓”,让AI表现提升20倍,可以去往更广阔的产业天地。

利用“引力弹弓效应”,人造航空器“旅行者1号” 飞出了太阳系,进入了太阳系外更广阔的宇宙空间。曙光存储可以让AI走得更快,那么能推动AI走得更远吗?目前来看,答案是确定的。

作为分布式存储市场领导者象限中排名第一的厂商,曙光也在AI赛道上起到了引领作用。曙光存储走向行业的足迹,连起来,就是AI迈向产业的“轨迹”。

为AI筑底座。 曙光存储与中国移动合作,为其新型智算中心提供存储底座,助力万卡甚至超万卡集群的建设,算力网络AI注智赋能,有望为各行各业提供澎湃的智能算力。泉州智慧城市大脑,借助新一代曙光存储的异构融合能力,实现海量异构数据资源的融合,打造更坚实的“数字底座”。

为AI谋效率。 在与某AI大模型厂商的合作中,曙光存储的ParaStor分布式全闪存储,单节点150GB/s带宽和320万IOPS,整体训练效率提升50%以上,有了高效率的支撑大模型厂商更快推出产品来满足市场需求。

为AI降成本。 目前,曙光存储实现了国内外双栈技术生态全兼容(CPU/GPU/OS/DB/Cloud),可以应对AI算力多元异构的技术挑战,支持国内外不同厂商、不同架构、不同版本的算卡,以及多样的大模型,帮助行业客户在智能化过程中,实现成本均衡。更合理的成本,也可以加速AI的产业化进程。

为AI谋新篇。 在具身智能等新兴领域,曙光存储深入了解行业痛点,针对具身智能机器人低时延、高性能、丝滑体验等刚需,凭借快训练、快归档和合理成本等优势,为智元机器人打造坚实存储底座,让智元机器人可以实时、高效、丝滑地运行,及时处理故障,保持在最佳状态,加速商用进程,开启具身智能的新纪元。

不难看到,一张强大存储的“引力弹弓”,正推动AI走得又快又稳又远,走向广袤的产业宇宙。

可能有人会问,为什么最适配AI的存储,会率先诞生在中国、在曙光?首先,曙光与国内AI的距离最近。可以针对性地满足国內AI厂商的定制化开发需求,这是海外厂商很难具备的。此外,曙光自主研发实力很强。有国产化要求、担心海外供应链风险、追求完全自研的厂商,曙光存储有极强的吸引力。而AI新技术,也要求存储厂商需要更多地跟介质厂商、网络厂商交互,共同探索全新的方案。以及在存储系统中纳入AI的能力,在算法上面有更多的积淀。因此,对存储厂商的综合能力、生态合作等,也都提出了新的要求。从这个角度讲,曙光存储在AI领域的“引力弹弓”效应,也将进一步推动国产存储厂商的跟进与升级。当越来越多的国产先进存储,为AI提供加速引力,一定会将AI推向更广阔的产业地带。那时,我们将看到一个更加辽阔璀璨的智能中国。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

PC大厂财报,不见AI PC的盼头

来源:智东西

图片来源:由GPTNB生成

2年多来首次营收增长,主要依赖企业客户。

作者 | 陈骏达
编辑 | Panken

智东西8月29日报道,今天,惠普发布截至今年7月31日的2024财年第三季度财报。


惠普Q3实现了9个季度以来的首次营收增长,营收为135.19亿美元,同比增长2%,高于分析师预期;净利润为6亿美元,同比下降16%;每股收益为0.83美元,低于分析师预期。惠普称其在中国市场遇冷,PC和打印机等产品销售疲软。

在财报电话中,惠普总裁兼首席执行官Enrique Lores称他们将在AI PC上大举发力,他认为这对于解决方案提供商来说是“一个难以置信的增长机会”。

惠普在本季度发布了AI PC新品,其NPU最高具有55 TOPS算力。不过,Lores也承认,惠普的AI PC产品线“对我们的结果影响还非常非常小”

他继续说道:“在采用方面,短期内消费者对AI PC的采用会更快因为商用总是受到许多客户必须经历的评估过程的限制,需要一些时间才能对我们的结果产生影响。”

Lores称,到2027年,也就是其AI PC产品推出3年后,AI PC将占其PC产品出货量的50%左右,推动平均售价上涨**5%-10%**。

另据科技分析机构Canalys今年8月公布的数据,2024年第二季度,全球AI PC出货量达880万台,其中macOS设备占比60%Windows设备占比39%。Windows AI PC出货量环比增长127%,惠普在其中占比约为8%,联想占比为6%,戴尔占比略低于7%。Canalys预测,AI PC 2024年出货量将达到4400万台,2025年有望达到1.03亿台

按操作系统划分,2024年第二季度全球AI PC出货量(图源:Canalys)

惠普的个人系统业务(PC、笔记本、平板等)贡献了第三季度**69%**的营收,不过他们在PC市场的份额基本持平。

按业务与地区划分,惠普2024财年第三季度营收情况(图源:惠普)

惠普对企业客户的依赖程度较高…

本文链接:https://www.aixinzhijie.com/article/6846564
转载请注明文章出处

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

阿里AI战略新叙事:“不被定义”的夸克

“夸克inside”,让每台电脑都成为AI电脑

想要一台AI电脑?别着急升级硬件,你只需要下载安装夸克PC端。
夸克这次发布的PC端,在保持原有基础功能的基础上,重点升级了AI搜索、AI写作、AI PPT、AI文件总结等一系列功能。


这几乎囊括了当下用户所能接触到的,所有AI能够带来便利和效率提升的场景。
虽然移动设备在日常生活中占据主导地位,但在生产力场景中,电脑强大的计算能力、更大的屏幕和更精确的处理方式为AI处理复杂任务提供了施展空间。此外,电脑灵活的生态系统也更有利于开发者进行AI创新和实验。这些特点使电脑成为AI应用落地的核心入口。夸克通过PC端这样的产品形态,可以解决大部分的办公和学习需求。
不同于单点的AI插件类产品,夸克全新PC端另外一个亮点在于其“系统级全场景AI”能力。这一创新不再将AI局限于AI功能本身,而是将其无缝融入用户的整个电脑使用体验中。无论是在桌面、文档还是网页中,用户都能通过快捷键、划词、截屏、右键菜单或浏览器插件等多种方式,随时唤起夸克AI能力,实现搜索、写作和信息总结等功能。这种设计理念,使得每一台“夸克inside”的电脑,都具备了AI的魔力,成为系统级别的智能助手。

AI的能力通常被封装在特定的应用中,用户需要在不同的应用间切换才能完成复杂的任务。而夸克将AI能力下沉到电脑系统层面,使其成为一种随处可用的基础设施。这种设计理念不仅提高了用户效率,更重要的是,让AI交互体验完全融入于用户的日常操作行为中,几乎没有额外的学习成本,它可能改变用户与数字世界交互的方式,使AI成为一种常态化的体验。
夸克早已不单单是AI搜索产品了。
具体来看,夸克PC端本质上来说是借助了AI技术,对信息获取、展现和生成方式的一种改进,满足用户刚性需求的高频场景,为用户提供高效的信息处理和内容创作体验。
在AI搜索上,一个月前的夸克超级搜索框,在保持简洁用户体验的基础上,将大模型与AI搜索深度结合,用户只要在超级搜索框输入需求,夸克就能明确识别真实意图,并返回给用户相匹配的结果。而夸克PC端的三栏式设计巧妙地将AI回答、原始信源和历史搜索融为一体,在单一界面内实现了信息的整合。提升了用户的信息获取效率,还通过信源展示增强了AI回答的可信度。

在当前AI热潮席卷全球的背景下,PC端的创新却显得相对滞后。纵观整个行业,能够在PC平台上提供全面、系统级AI能力的产品寥寥无几。简单地将AI功能嵌入浏览器或添加Copilot已经不足以应对用户日益复杂的需求。在PC场景中,单一的AI插件产品形态往往只能解决用户的零散需求,如同散落各处的拼图碎片。而夸克通过其“一体化和一站式”式的设计,将这些碎片无缝拼接,这种创新使AI从点缀性的辅助工具,成为无处不在的得力助手,将延伸至用户的每一个工作和生活场景。
夸克PC端的推出代表了一种新的思路,它不仅回应了当前电脑平台AI整合的需求,也为搜索的发展提供了一个值得关注的新方向。夸克充当了用户与生成式AI技术之间的桥梁,也提供了一种无缝的AI体验,这无疑代表了行业发展的一种新思路,它当然还不够完美,但已经初见成效。

AI原生应用的另一种打开方式

2018年,夸克定位在以AI技术为核心的智能搜索引擎。独树一帜的使用体验让夸克获得了很好的市场口碑,界面精简、AI加持这些特征也保持到夸克的最新版本。
回顾夸克的发展历程,我们不难发现,夸克从一开始就将AI技术置于其产品战略的核心位置。与许多在近期AI热潮中匆忙转型的公司不同,夸克自成立伊始,就坚定地走在了AI搜索的道路上。这种长期的投入和坚持,使得夸克在技术探索、用户反馈与产品改进的正循环上都占据了先发优势。
在AI大模型掀起热潮之前,夸克就已经将AI技术置于其核心战略位置。事实上,早在Perplexity等AI搜索产品问世之前,夸克就已经在探索AI搜索的无限可能。在ChatGPT等AI助理产品引发全球关注之前,夸克就已经在将自己打造成为用户学习、生活和工作的智能助手。简单地说,夸克的AI,并非赶时髦,而是水到渠成。
夸克的发展轨迹清晰地展示了如何通过持续的技术创新来重新定义产品的边界。从最初的智能搜索,到后来一站式AI服务,再到如今的系统级全场景AI能力,夸克始终在探索AI技术在搜索领域的创新应用。这种演进不是突然的转向,而是一个循序渐进、有机发展的过程。

[…略…]

从“不被定义”到“与众不同”

“夸克”是物理学中的基本粒子,代表了人类对微观世界的探索,这个名字似乎也暗示了“夸克”站在科技前沿,对未知领域的探索精神。
夸克的故事是一个不断突破边界、重新定义的过程。从诞生之初,夸克就没有将自己局限于传统搜索引擎的范畴,而是始终坚持“战略是打出来的”这一理念,通过持续的技术创新和对用户需求的敏锐洞察,逐步拓展其产品边界。
从最初的极简高效搜索引擎,到如今涵盖AI搜索、AI写作、AI总结以及网盘、扫描、文档、学习、健康等多元化智能工具的生态系统,夸克的演进不仅仅是功能的叠加,更是一场对用户需求的深度洞察与回应。在这个过程中,夸克始终保持着一种“不被定义”的姿态,它不囿于传统搜索的固有模式,也不随波逐流于行业潮流,而是坚持以AI技术为核心,不断探索为用户创造价值的新维度。
这种“不被定义”的产品哲学,使得夸克能够在快速变化的AI时代保持灵活性和创新性。它不仅在信息检索、生成和处理方面不断突破传统认知,也在不断重塑对AI搜索、AI助手的理解。这种自我突破和重新定义的能力,正是夸克在竞争激烈的AI市场中保持领先地位的关键。
夸克的逻辑,是一条紧贴用户需求、追求极致的发展路径。它没有被既有的产品定义所束缚,而是不断根据用户需求和技术进步来重塑自身,这种路径,使得夸克在竞争激烈的市场中找到了属于自己的独特位置。

[…略…]



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

整合 200 多项相关研究,大模型「终生学习」最新综述来了

整合 200 多项相关研究,大模型「终生学习」最新综述来了。


图片链接:

  • 图片

AIxiv专栏是机器之心发布学术、技术内容的栏目。


过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.comzhaoyunfeng@jiqizhixin.com

该论文作者均来自于华南理工大学马千里教授团队,所在实验室为机器学习与数据挖掘实验室。论文的三位共同第一作者为博士生郑俊豪、硕士生邱圣洁、硕士生施成明,主要研究方向包括大模型和终生学习等,通讯作者为马千里教授(IEEE/ACM TASLP 副主编)。马千里教授团队近年来在国际权威期刊(如 TPAMI 等)和国际顶级学术会议(如 NeurIPS、AAAI、IJCAI、ACL、KDD、ICDE 等)上发表多篇 Time Series/NLP/Recommendation System 相关的研究工作,和国内外知名高校、科研机构广泛开展合作。

随着大语言模型在各个领域应用的不断拓展,如何让这些模型能够连续适应数据、任务和用户偏好的变化成为一个关键问题。传统的静态数据集训练方法已经无法满足现实世界的动态需求。

为了解决这一挑战,终生学习(Lifelong Learning)或连续学习(Continual Learning)技术应运而生。它能让大语言模型在其工作寿命中不断学习和适应,在整合新知识的同时保留以前学习过的信息,防止灾难性遗忘(Catastrophic Forgetting)。

最近,来自华南理工大学的研究者调研、整理并总结了大语言模型(LLMs)的终生学习(Lifelong Learning)方法及其发展前景,并将其总结为一篇全面且前沿的综述。

图片链接:

图 1 展示了终生学习(Lifelong Learning)在大语言模型和人类学习过程中的类比。图中通过两条平行的学习路径来展示人类和大语言模型在终生学习中的进化过程。

图片链接:

  • 图片

人类学习(Human Learning)

  1. 步行(Walk):人类从最基础的技能(如步行)开始学习。
  2. 骑自行车(Ride a Bike):随着学习的进展,人类掌握了更复杂的技能(如骑自行车)。
  3. 开车(Drive a Car):最终,人类可以掌握更加复杂和高级的技能(如开车)。

每一步都代表着人类在终生学习过程中不断获取新技能和知识的过程。

大语言模型学习(LLMs Learning)

  1. 新语言(New Language):大语言模型从学习新的语言开始(如学会处理不同的自然语言)。
  2. 新领域(New Domain):接下来,模型学习新的领域知识(如从自然语言处理扩展到医学领域)。
  3. 新信息(New Information):最终,模型可以学习和整合新的信息,无论是语言还是领域。

每一步代表着大语言模型在终生学习过程中不断扩展和更新知识的过程。这张图强调终生学习的过程:终生学习是一个连续的过程,涵盖了从基础到高级的逐步进化。终生学习不仅仅是简单的知识积累,而是一个动态的、不断进化的过程。

近年来,终生学习已成为一个越来越热门的研究课题,涌现出有关神经网络终生学习的大规模调查。大多数现有研究主要关注卷积神经网络(CNN)的终生学习的各种应用场景和图神经网络的终生学习。然而,只有少量文献关注语言模型的终生学习。尽管最近的一些综述收集了终生学习的最新文献,但都没有涉及连续文本分类、连续命名实体识别、连续关系提取和连续机器翻译等场景,对连续对齐、连续知识编辑、基于工具的终生学习和基于检索的终生学习的讨论也很少。

这篇综述是第一个从 12 个场景出发,对大语言模型终生学习方法进行全面系统研究的调查。

总体来说,综述的主要贡献包括:

  1. 新颖分类:引入了一个详细的结构化框架,将有关终生学习的大量文献分为 12 个场景;
  2. 通用技术:确定了所有终生学习情况下的通用技术,并将现有文献分为每个场景中不同的技术组;
  3. 未来方向:强调了一些新兴技术,如模型扩展和数据选择,这些技术在前 LLM 时代探索较少。

一、引言

本综述系统地总结了现有的终生学习技术方法,在图 2 中将其分为内部知识和外部知识两大类。

图片链接:

  • 图片

内部知识(Internal Knowledge)

  • 连续预训练(Continual Pretraining)

    • 连续垂直领域预训练(Continual Vertical Domain Pretraining):针对特定垂直领域(如金融、医疗等)进行的连续预训练。
    • 连续语言领域预训练(Continual Language Domain Pretraining):针对自然语言和代码语言进行的连续预训练。
    • 连续时间领域预训练(Continual Temporal Domain Pretraining):针对时间相关数据(如时间序列数据)的连续预训练。
  • 连续微调(Continual Finetuning)

    • 特定任务(Task Specific)
      • 连续文本分类(Continual Text Classification):针对文本分类任务进行的连续微调。
      • 连续命名实体识别(Continual Named Entity Recognition):针对命名实体识别任务进行的连续微调。
      • 连续关系抽取(Continual Relation Extraction):针对关系抽取任务进行的连续微调。
      • 连续机器翻译(Continual Machine Translation):针对机器翻译任务进行的连续微调。
    • 任务无关(Task Agnostic)
      • 连续指令微调(Continual Instruction-Tuning):通过指令微调实现模型的连续学习。
      • 连续知识编辑(Continual Knowledge Editing):针对知识更新进行的连续学习。
      • 连续对齐(Continual Alignment):针对模型与新任务对齐进行的连续学习。

外部知识(External Knowledge)

  • 基于检索的终生学习(Retrieval-Based Lifelong Learning):通过检索外部知识库来实现终生学习。
  • 基于工具的终生学习(Tool-Based Lifelong Learning):通过调用外部工具来实现终生学习。

二、终生学习概况

综述介绍了评估终生学习效果的指标,主要从整体性能、稳定性和适应性三个角度进行评估:整体性能、稳定性测量和适应性测量。

三、连续预训练

连续垂直领域预训练、连续语言领域预训练和连续时间领域预训练等方法涉及不断更新语言模型,以保持其在垂直、语言和时间敏感数据上的准确性和相关性。

四、连续微调

连续微调通过蒸馏、重放、正则化、基于架构和基于梯度的方法等技术对大语言模型的内部知识进行增强,并使其能够适应特定任务。

五、外部知识

基于检索的终生学习和基于工具的终生学习为大语言模型提供了获取新知识的途径,使其能够与外部资源进行交互。

六、讨论与结论

主要挑战包括灾难性遗忘、可塑性 - 稳定性困境、昂贵的计算成本和模型权重或预训练数据的不可用性。当前趋势包括从特定任务到通用任务、从全量微调到部分微调和

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

奢侈品巨头LVMH家族办公室全力进军AI领域,仅2024年就投了5家创企

LVMH是全球市值最大的奢侈品公司,其创始人兼首席执行官Bernard Arnault身家估为1907亿美元,而其家族财富值已位居世界第一。

除了奢侈品,Bernard Arnault还一直在人工智能(AI)领域积极进行投资。


在2024年,Arnault的家族办公室Aglaé Ventures已经进行了五次与AI相关的投资,而在过去八个月的融资总金额达3亿美元。

image

H由前谷歌DeepMind研究员创立,前身为Holistic AI,该公司在今年5月从包括Bernard Arnault、前谷歌首席执行官、三星和亚马逊在内的一组投资者那里筹集了2.2亿美元。由前斯坦福研究员Charles Kantor领导的H旨在开发通用人工智能(AGI),旨在创造一种与人类一样智能和高效的人工智能。

今年3月,Arnault共同领导了加拿大初创公司Borderless AI的2700万美元种子轮融资,该公司致力于将人工智能应用于人力资源领域。今年2月,该公司还与Balderton Capital共同领导了法国初创公司Photoroom的4300万美元融资,该公司正在开发一款AI照片编辑平台。

其他投资对象还包括一些美国的初创公司,Arnault支持了位于加州的Lamini,一家专注于企业人工智能平台的公司。

image

今年6月,该公司从Aglaé、OpenAI联合创始人Andrej Karpathy和Google Brain联合创始人Andrew Ng处筹集了2500万美元。同样在今年4月,Arnault参与了纽约的数据智能软件公司Proxima的一轮A轮融资,本次筹集了1200万美元。

不过,Aglaé在这些公司中的投资金额并未对外披露。

此前,Aglaé还曾参与过四轮融资,投资了总部位于巴黎的AI照片创作公司Meero,该公司于2017年至2019年间完成了这些融资。

要说起来,Bernard Arnault在投资成功的科技初创公司方面早有悠久的经验,其家族办公室曾在1999年投资了Netflix,2014年投资了Spotify,2015年投资了Airbnb。

自2017年以来,Aglaé已经进行了153项投资,其中53项投资是针对科技领域的公司。

值得注意的是,LV这家奢侈品集团近年来不断在尝试AI这一新兴领域。

image

2021年,LVMH与Google Cloud签署了为期五年的战略合作伙伴关系,将AI解决方案整合到需求预测和库存优化等功能中。去年9月,公司举办了第二届LVMH数据人工智能峰会,并选择生成式人工智能作为主题,汇集了数百名参与者。

今年5月,LVMH还参加了巴黎的年度科技贸易展览会VivaTech,自2016年首届以来,该集团一直参与其中。

在VivaTech贸易展览会上,LVMH集团向各类创新奖提名的初创企业颁发了七座奖杯,其中包括中国公司FancyTech——使用生成式人工智能开发的视频制作软件,以及借助AI技术将珠宝草图转换为视觉设计的公司BLNG。

Arnault在VivaTech展会上还表示,为了经得起时间的考验,公司必须强调创造力、质量、企业家精神和效率等价值观。

原文来源于:
1. https://www.pymnts.com/news/investment-tracker/2024/lvmh-founder-bernard-arnaults-family-firm-invests-in-ai-companies/
2. https://observer.com/2024/08/lvmh-bernard-arnault-ai-startup-investment/
3. https://fashionunited.uk/news/business/lvmh-innovation-award-2024-bernard-arnault-prioritises-ai-with-fancytech/2024052475731
中文内容由元宇宙之心(MetaverseHub)团队编译,如需转载请联系我们。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

防AI换脸视频诈骗,中电金信联合复旦提出多模态鉴伪法,还入选顶会ACM MM

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。


如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazzhou@jiqizhixin.comzhaoyunfeng@jiqizhixin.com

该论文作者来自复旦大学、中电金信及上海智能视觉计算协同创新中心团队,论文已被多媒体领域顶级国际会议 ACM MultiMedia 2024 接收,并将在该大会上进行口头报告(Oral 接收率仅 3.97%)。

AI 换脸技术,属于深度伪造最常见方式之一,是一种利用人工智能生成逼真的虚假人脸图片或视频的技术。基于深度学习算法,可以将一个人的面部特征映射到另一个人的面部,创造出看似真实的伪造内容。近年来,以 AI 换脸为代表的 AIGC 技术被用于诈骗活动呈显著增长趋势,给金融行业带来了巨大的安全风险。

如上述画面,领英创始人里德・霍夫曼用 LLM 创建了自己的 AI 分身,并接受了其 AI 分身的采访,整场采访的效果极为逼真,难辨真假。

以金融机构身份验证环节的人脸识别为例,AI 换脸诈骗作为一种新兴的 “AIGC” 诈骗攻击手段,已经对金融业务安全构成了严重威胁,同时,通过换脸伪装成亲友,以紧急情况为…

View More


Link to the Image


View More


Link to the Image


论文标题:Identity-Driven Multimedia Forgery Detection via Reference Assistance

论文链接:https://arxiv.org/pdf/2401.11764

核心技术介绍

R-MFDN 方法创新性地利用丰富的身份信息,挖掘跨模态不一致性来进行伪造检测。该方法由三个模块组成,多模态特征提取模块、特征信息融合模块和伪造鉴别模块。

多模态特征提取模块包含视频编码部分和音频编码部分。

视频编码部分通过 ResNet 实现。对于输入的视频帧序列,模型从该序列等步长地采样 4 个分组,每个分组中包含连续的 4 帧。对于采样的 16 帧,模型使用 ResNet 提取对应的图像级特征。然后每个分组的特征通过时序 Transformer 模型得到一个分组级特征。最后通过对 4 个分组级特征进行平均池化得到视觉特征。

音频编码部分使用音频频谱图 Transformer 提取音频的高级特征。然后,这些特征作为特征信息融合模块的输入。

在特征信息融合模块中,视觉特征先经过自注意力层处理,然后和音频特征通过交叉注意力层进行特征融合。最后的融合特征输入到伪造鉴别模块中,进行类别判断。

为了监督 R-MFDN 模型的训练,研究团队使用三个损失函数对模型参数更新进行约束。第一个损失函数是分类结果的交叉熵损失函数。第二个损失函数则是视觉特征与音频特征的跨模态对比学习损失函数。模型通过对来自同源和不同源视频的两种模态特征进行匹配,从而使特征学习过程能够在特征空间中对齐不同模态的信息。

具体而言,源于同一个视频的不同模态特征被视作正样本对…

View More


Link to the Image


论文标题:Identity-Driven Multimedia Forgery Detection via Reference Assistance

论文链接:https://arxiv.org/pdf/2401.11764

核心技术介绍

R-MFDN 方法创新性地利用丰富的身份信息,挖掘跨模态不一致性来进行伪造检测。该方法由三个模块组成,多模态特征提取模块、特征信息融合模块和伪造鉴别模块

View More on this


Link to the Image


对比 AI 分身视频画面,给出了可信赖度低的分数

如上图,回到文章开头领英创始人里德・霍夫曼的 AI 分身视频,以此为素材,通过中电金信的多模态深度伪造检测能够对真伪视频立马见分晓。

利用 AI 换脸视频或合成声音来实施诈骗的确让人防不胜防,有关部门也正在积极开发相关的反制技术和手段。比如,《互联网信息服务深度合成管理规定》提出了算法备案、安全评估的手段,要求深度合成服务提供者对深度合成的内容添加显式或隐式水印。与此同时,也要加强对个人隐私的保护,不轻易提供人脸、指纹等个人生物信息给他人。

相关文献:
[1] Darius Afchar, Vincent Nozick, Junichi Yamagishi, and Isao Echizen. Mesonet: a compact facial video forgery detection network. In 2018 IEEE International Workshop on Information Forensics and Security, WIFS 2018, Hong Kong, China,December 11-13,2018,pages1–7. IEEE,2018.8
[2] babysor. Mockingbird. https://github.com/babysor/MockingBird,2022.3
[3] James Betker. Tortoise text-to-speech. https://github.com/neonbjb/tortoise-tts,2022.4



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

我在五十岁学会了计算机编程语言-这是我发现的事情

一位没有技术背景的作家回顾了他在编码领域的不可思议之旅,以及这段旅程给他带来的有关现代世界宝贵的教训。


2017年的一天,我有了一个现在看来显而易见但当时令我震惊的认识:几乎我所做的一切都是通过计算机代码进行中介的。随着代码在我的世界中的涌入成为了洪流,这个世界似乎并没有变得更好,反而随之变得更糟。我开始思考为什么。立即出现了两个可能性。一个是编写代码的人 - 程序员 - 长期以来被描绘为一群模糊有趣、崇拜托尔金的怪人。另一个是在其中许多人工作的超级资本主义体系,以硅谷为例。他们是否利用代码将人类环境重塑成更符合他们的东西? 还有第三种可能性,一种让我几乎不敢设想的可能性,因为其前景是如此令人震惊的。如果我们计算的方式与人类的方式相悖呢?我从未听过有人提出这样的可能性,但至少在理论上,它存在。慢慢地,我明白,要弄清楚唯一的方法就是通过学习编码来进入这台机器。

每种语言都有其独特的精神和追随者,这些追随者慷慨地转化为与青少年次文化一样充满激情和完整的分支很有可能在这些部落之间存在竞争,甚至是微妙的敌意,一种摩擦被程序员半开玩笑地称之为“宗教战争”,因为没有人会改变他们的看法。突然间,编程者的领域看起来富有趣味和引人入胜。后来,我与一位研究证券市场上“高频交易”的理论物理学家交谈,其中算法在人类控制之外运作,互相试图愚弄对方,以达成达到对市场状态的目标。当他将这个代码的宇宙称为“第一个真正人造的生态系统”时,我感到震惊但着迷。他的团队的研究发表在《自然》期刊上,而不是在物理学或计算机期刊上。…

我在五十多岁时作为一个没有技术背景的作家,对编码工作原理几乎一无所知。但是几年前,在写一篇关于比特币的杂志专题时,我遇到并被一些编码者所吸引。这种加密货币的化名创始人中本聪在消失之前留下了一些线索。然而,他留下了10万行代码,我发现他的同行们像阅读文学一样阅读这些代码。我了解到有数千种编程语言用于与计算机进行通信,包括几十种大型语言,这些语言的名称往往暗示着玫瑰花或不可原谅的强力清洁产品(如 Perl、Ruby、Cobol、Go),每种语言都有其独特的精神和狂热的追随者,转化为像我成长的年轻次文化 - 朋克、摩德、哥特、皮头 - 一样的充满激情和完整的分支。…

编码未来:解决生活问题的科技青年们读更多言词语更肮脏。但在我的内心深处,我知道我的选择并非是随机的。算法是不稳定的,很难控制在一个基本上是二进制、外星人和毫不宽容的环境中,在这个环境中,一个错位的逗号可能导致飞机坠毁或卫星爆炸。显然,我有一部分想避开它们。然后我看着 JavaScript,这个 web 三位一体中强有力的算法支柱,却恶心死了。算法本质上是简单的事物,主要由“如果”语句(如果“x”发生,则执行“y”;否则执行“z”)和“while 循环”(只要“x”适用,则执行“y”;当“x”不再适用时,停止执行“y”)组成。因此,按照它们的本性,算法集中并强化它们的输入。

两年后,我将以 Code for America 旧金山支队的志愿者身份写下自己的第一个紧张的 Python 代码,为旧金山湾区的大流行病仪表盘工作,并感觉自己是世界上最不可能被皈依为代码文化的人。无论如何,当我深入了解硅谷和我所谓的“微观宇宙”时,我发现了一种隐藏的瑕疵,这种瑕疵与我们进化方式背道而驰,与代码本身相矛盾,这种瑕疵正在集中权力、磨损社会,并在我们作为物种上投下了一种算法咒语 - 直到我们将其控制住为止。就在我以为我的工作已经完成时,它实际上才刚刚开始。《堆栈中的恶魔:编码的奥德赛》是 Andrew Smith 创作的,由 Grove Press 出版(价格16.99英镑)。要支持《卫报》和《观察家》,请在 guardianbookshop.com 下订单。可能会收取运费。探索更多关于这些主题的内容技术《观察家》计算机科学和信息技术 Tim Berners-Lee 功能分享重复使用此内容。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

巴西离线:伊隆·马斯克拒绝遵守当地法律,X在巴西下线

巴西是全球第五大数字人口大国,其中一个最受欢迎的社交网络 X 在伊隆·马斯克拒绝遵守当地法律后已经在巴西下线,这是巴西最高法院的封锁所致。


周六早晨,数百万巴西 X 用户发现他们无法访问该网络,因为互联网服务提供商和移动电话公司开始执行封锁。当《卫报》尝试在计算机和手机上访问该网络时,收到消息显示:“看起来你失去了连接。我们会继续尝试。”大量巴西人转向竞争对手网络 Bluesky,该公司表示过去两天已获得50万用户。该公司用葡萄牙语向新加入者发帖:“欢迎来到 Bluesky!”。

Bluesky 的新成员包括菲利普·内图,他是巴西顶级社交媒体影响者之一,拥有超过 1700 万 X 追随者。“不要忘记,当你去到另一个国家时,即使你不同意,你也必须遵守它的立法。内图写道。X 在巴西被禁止,这是在经历了数月的政治斗争后,在这场政治斗争中,国家最高法院和右翼科技亿万富翁之间展开。这场斗争的高潮是巴西最高法院的权威法官亚历山大·迪·莫雷斯对该社交网络发出封锁令,他一直致力于迫使 X 在 2023 年 1 月布拉梯利亚首都支持前右翼总统贾尔·博尔索纳罗的起义后清除反民主、极右声音。马斯克一直支持包括博尔索纳罗和他的美国盟友唐纳德·特朗普在内的右翼人物,他反击指责莫雷斯压制言论自由,并试图审查保守意见。马斯克对莫雷斯的公开攻击,其中许多是幼稚和粗俗的,使人联想到他在最近的英国极右暴动期间反复在网上攻击英国首相基尔·斯塔默的情况,X 的所有者被指控煽动了这些暴力事件。在 X 当地办公室在 8 月中旬关闭后,马斯克在周四逾期 24 小时未能指定新的法律代表之际,成为 X 在巴西被封锁之前的最后维护期限。在周五下令封锁的裁决中,莫雷斯指责 X 将社交网络“像一个无主之地 - 一个绝对没有法律的土地”,允许“大规模传播”错误信息、仇恨言论和反民主攻击。几小时后,当地时间午夜后不久,巴西用户开始注意到 X 已经下线。马斯克加强了对莫雷斯的攻击,称法官为“伏地魔”,并在 X 发推文一个狗把它的睾丸晃在另一个动物的脸上的梗图。“他是一个独裁者和一个骗子,而不是一个司法官员。”马斯克在 X 上写道,尽管巴西用户没有使用虚拟专用网络(VPN)就无法阅读他的言论。知名右翼人物纷纷声援马斯克,强调巴西极右翼人士与世界首富之间的日益亲近关系。“即使我一个人,我也要激进化。”知名右翼国会议员尼古拉斯·费雷拉在 X 被封锁之前几小时表示。“你是一名自由战士。”马斯克回应。进步的巴西人嘲笑马斯克声称自己在捍卫言论自由,许多人欢庆最高法院做出的决定,向 X 的所有者表明他并不高于法律。“如果亿万富翁想在这些地方创办赚取数十亿的公司,他们需要学会尊重法律。国法和国家主权万岁。”左翼国会议员艾瑞卡·希尔顿在周五深夜在 X 上写道。在封锁生效前半小时左右发布的第二封告别信中,希尔顿宣布她已迁移到 Bluesky。“很快在那里见。”她写道。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB