作者：一号
编辑：美美
AI技术即将改变医疗健康市场。

就在前两天，人工智能和医疗健康领域迎来了一个重要时刻。

---

OpenAI的CEO萨姆·阿尔特曼（Sam Altman）与Thrive Global的CEO阿里安娜·赫芬顿（Arianna Huffington）在《时代》杂志上联合发表文章，正式宣布了Thrive AI Health公司的成立。这一声明标志着个性化健康管理服务迈入了一个新的里程碑，预示着AI技术将在健康领域发挥更加关键的作用。

Thrive AI Health公司的成立，旨在开发一款个性化的AI健康教练，这款应用将通过深度学习用户的行为模式和生理数据，提供定制化的健康建议。AI健康教练的愿景是成为用户的个人健康伙伴，帮助他们建立更健康的生活习惯，预防和管理慢性疾病。

AI健康教练的核心优势在于其个性化服务。通过分析用户的睡眠模式、饮食习惯、身体活动和压力水平，AI教练能够提供针对性的健康建议和行为改变方案。这种服务模式不仅提高了健康管理的效率，也为用户带来了更加个性化的体验。

此外，AI健康教练的开发团队由行业内的资深专家组成，包括谷歌前健康和可穿戴设备负责人德卡洛斯·洛夫。他们的专业知识和技术经验为AI健康教练的科学性和实用性提供了坚实的基础。

资本市场的积极响应

Thrive AI Health的成立迅速吸引了资本市场的关注。公司获得了1500万美元的初始融资，这一资金的注入不仅体现了投资者对AI健康行业的信心，也显示了市场对创新健康管理解决方案的强烈需求。

投资者对AI健康教练的市场潜力持乐观态度。随着健康意识的提高和科技的发展，个性化健康管理服务的需求日益增长。AI健康教练以其独特的个性化服务和高度的科学性，有望满足这一市场需求，成为健康管理领域的新宠。

资本市场的支持为Thrive AI Health的发展提供了强有力的推动。公司计划利用这笔资金进一步研发AI健康教练技术，优化用户体验，并扩大市场推广力度。

技术革新与市场机遇

AI健康教练的技术革新为健康管理领域带来了新的机遇。通过集成最新的AI算法和数据分析技术，AI健康教练能够更准确地理解用户的健康需求，提供更有效的健康建议。

AI健康教练的市场机遇在于其能够满足现代人对健康生活的追求。随着生活节奏的加快和工作压力的增大，人们越来越需要一个能够提供个性化健康指导的工具。AI健康教练正好填补了这一市场空白，为用户提供了一个全面、便捷、高效的健康管理解决方案。

此外，AI健康教练的推出也符合当前医疗健康行业的发展趋势。随着医疗健康行业的数字化转型，AI健康教练有望成为推动行业发展的重要力量。

而且近期，在AI健康领域上，还有另一项重要进展来自学术界，尤其是哈佛医学院的研究团队。他们开发了一款AI聊天机器人PathChat，该机器人在病理学诊断中展现出接近90%的准确率。PathChat不仅在疾病识别上表现出色，还在以下方面超越了GPT-4V：

• 多模态能力：PathChat能够处理来自活检切片的视觉信息和自然语言输入，提供更全面的病理分析。
• 交互性：PathChat能够与用户进行互动交流，为病理学的诊断和研究提供了新的工具和视角。
• 诊断准确率：在不提供临床背景的情况下，PathChat的诊断准确率明显优于GPT-4V，以及其他市面上的通用AI模型和专业医疗模型。

这一成果已在科学期刊《Nature》上发表，进一步证明了AI技术在医疗健康领域的应用潜力和超越现有技术的前景。

行业发展的挑战与前景

尽管AI健康教练在市场上展现出巨大的潜力，但它也面临着一些挑战。技术的准确性和用户数据的隐私保护是AI健康教练需要重点关注的问题。为了确保用户信任，AI健康教练必须在提供高质量服务的同时，严格保护用户的个人隐私。

此外，AI健康教练还需要在激烈的市场竞争中脱颖而出。市场上已经存在许多健康管理应用，AI健康教练需要通过不断的技术创新和优化服务，赢得用户的青睐。

然而，AI健康行业的发展前景依然乐观。随着技术的不断进步和市场的逐步成熟，AI健康教练有望在未来的健康管理领域发挥更大的作用。它不仅能够为用户提供更加个性化和精准的健康服务，还能够推动整个健康行业的创新和发展。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

虽然巴菲特对于最新股市趋势的追逐行为并不明显，但从Berkshire Hathaway的投资组合中可以看出，该公司持有的许多股票都受益于人工智能。

自1965年以来，巴菲特一直领导着Berkshire Hathaway控股公司。

---

他喜欢投资增长稳定、盈利能力可靠、管理团队实力雄厚的公司，并且施行股息支付和股票回购计划等股东友好型举措。

这一策略也确实正在奏效，从1965年到2023年，Berkshire的回报率达到了惊人的4384748%。这相当于19.8%的复合年收益率，几乎是同期标准普尔500指数10.2%年收益率的两倍。

以美元计算，1965年对Berkshire Hathaway公司股票的1000美元投资将增长到4300多万美元，而对标准普尔500指数的相同投资，在股息再投资的情况下，价值仅为312333美元。

巴菲特并不是追逐股市最新趋势的投资者，所以你不会看到他如今扎堆于热门的人工智能股票。

不过，Berkshire目前持有的三只股票将从人工智能中获益匪浅，甚至占据了Berkshire公开交易证券总投资组合的45%以上，总额达3987亿美元。

01.Snowflake：占Berkshire Hathaway公司投资组合的0.2%

Snowflake开发了一个数据云平台，可以帮助企业将其关键数据汇集到一个平台上，从而更有效地分析数据，挖掘数据的最大价值。

该服务专为与多个云提供商合作的大型复杂企业设计，如微软Azure和Alphabet的谷歌云，但这种情况往往会导致数据孤岛的产生。

去年，Snowflake推出了CortexAI平台，允许企业将现成的大型语言模型（LLM）与自己的数据相结合，创建生成式AI应用程序。

Cortex还配备了一整套人工智能工具，如文档人工智能和Snowflake的Copilot虚拟助理。前者允许企业从发票或合同等非结构化来源中提取有价值的数据，后者则可使用自然语言进行提示，在整个Snowflake平台上提供有价值的见解。

在截至4月30日的2025财年第一季度，Snowflake的产品收入达到7.896亿美元，同比增长34%。从表面上看，这是一个强劲的增长率，但相比前几个季度有所放缓。

尽管Snowflake继续在市场营销和研发等增长举措上投入巨资，但其获取新客户的速度却在放缓，现有客户扩大消费的速度也更加缓慢。

Berkshire Hathaway公司在2020年数据云专业公司首次公开募股时买入了Snowflake的股份，因此每股价格可能在120美元左右。
2021年，该公司股价飙升至392美元的高位，但此后又从这一水平下跌了63%，目前股价为142美元。不幸的是，由于该公司的增长放缓，股价似乎仍然相当昂贵，因此投资者可能希望避开Berkshire的这一选股。

02.亚马逊：占Berkshire Hathaway公司投资组合的0.5%

Berkshire在2019年买入了亚马逊（AMZN1.22%）股票，巴菲特曾多次表示后悔没有更早发现这个机会。亚马逊成立之初是一家电子商务公司，后来扩展到云计算、流媒体、数字广告领域，现在又扩展到人工智能领域。

其亚马逊网络服务（AWS）云计算部门设计了自己的数据中心芯片，与采用英伟达（Nvidia）芯片的其他基础设施相比，AI开发人员使用这些芯片的成本最多可降低50%。

此外，亚马逊的Bedrock平台还为开发者提供了一个现成的LLM库，这些LLM来自一些业界领先的初创公司，此外亚马逊还自主开发了一个名为Titan的LLM系列。

从本质上讲，AWS希望成为那些打算创建自己的人工智能应用的开发人员的首选目的地。华尔街的各种预测表明，人工智能将在未来十年内为全球经济增加7万亿到200万亿美元的收入，这有可能成为亚马逊有史以来最大的机遇。

Berkshire Hathaway公司持有亚马逊20亿美元的股份，仅占该企业集团股票投资组合的0.5%。

从长远来看，人工智能可能会推动亚马逊实现大幅增长。因此，如果巴菲特之前只是希望这一持仓位更大，那么在AI的新篇章开启之后，他可能会为自己没有尽早增持而自责。

03.Apple：占Berkshire Hathaway公司投资组合的44.5%

苹果公司（AAPL2.16%）是Berkshire Hathaway公司迄今为止最大的持仓。这家企业集团从2016年开始斥资约380亿美元积累股票，其持仓目前价值1776亿美元。

苹果致力于生产全球最受欢迎的电子设备，包括iPhone、iPad、AppleWatch、AirPods和Mac系列电脑。

该公司正在通过其新的Apple Intelligence软件进军人工智能领域，该软件将于9月份与iOS18操作系统一起发布。

该软件是与OpenAI合作开发的，它将改变苹果设备的用户体验。Siri语音助手将借助ChatGPT的功能，类似地，其笔记、邮件和iMessage等写作工具也将借助ChatGPT的功能，帮助用户快速制作内容。

全球有超过22亿台活跃的苹果设备，这意味着苹果可能很快成为向消费者分发AI技术的最大公司。

即将推出的iPhone 16预计将配备能够在设备上处理AI工作负载的强大新芯片，可能会引发一次显著的升级周期。

苹果符合巴菲特的所有选股标准。自2016年Berkshire首次投资以来，该公司一直稳步增长，持续盈利，拥有CEO库克这样一位坚定的领导者，并通过分红和股票回购向股东返还了大量资金。

事实上，苹果刚刚宣布了一项价值1100亿美元的新回购计划，这是美国企业史上最大的回购计划。

原文来源于：
https://www.fool.com/investing/2024/07/07/45-warren-buffetts-398-billion-is-in-3-ai-stocks/
中文内容由元宇宙之心（MetaverseHub）团队编译，如需转载请联系我们。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：半导体行业观察

来源：内容由半导体行业观察（ID：icbank）编译自纽约时报，谢谢。

拜登政府周二表示，将拨款高达 16 亿美元用于开发计算机芯片封装新技术，这是美国努力在人工智能等应用所需零部件制造领域保持领先的重要举措。

---

美国商务部副部长兼国家标准与技术研究所所长劳里·洛卡西奥表示，拟议的资金是 2022 年《芯片法案》授权资金的一部分，将帮助企业在芯片之间创建更快的数据传输方式以及管理芯片产生的热量等领域进行创新。

她在旧金山举行的年度行业会议上宣布了这一消息，为各家公司开始申请资助研发项目的补助金打下了基础，预计每家公司的补助金总额将高达 1.5 亿美元。

洛卡肖女士表示：“我们在先进封装领域的研发工作将重点关注高性能计算和低功耗电子产品等高需求应用，这两者都是实现人工智能领导地位所必需的。”

《芯片法案》获得两党批准，将投资 520 亿美元来刺激国内芯片生产，其中大部分资金将用于将硅片转化为芯片的工厂。美国在这一活动中的份额已降至 10% 左右，其中大部分被亚洲公司夺走。但美国对台湾半导体制造公司（简称台积电）工厂的依赖尤其令政策制定者感到担忧。

在芯片封装方面，对外国公司的依赖更加明显。该过程将成品芯片（如果没有与其他硬件通信的方式，芯片将毫无用处）贴到称为基板的扁平部件上，基板上带有电连接器。这种组合通常用塑料包裹。

芯片封装主要在中国台湾、马来西亚、韩国、菲律宾、越南和中国大陆进行。美国行业组织IPC援引国防部的数据估计，美国仅占先进芯片封装市场份额的3%左右。

由于迄今为止大部分联邦政府资金都流向了制造业的早期阶段，美国新工厂生产的芯片可能会被运往亚洲进行封装，这对于减少对外国公司的依赖作用不大。

专注于芯片封装的咨询公司 TechSearch International 总裁 Jan Vardaman 表示：“你可以在这里生产出你想要的所有硅片，但如果你不进行下一步，那就没有任何用处。”

越来越多的公司通过将多个芯片并排或堆叠在一起来提高计算性能，这让情况变得更加复杂。在人工智能芯片销售中占据主导地位的英伟达最近发布了一款名为 Blackwell 的产品，该产品有两个大型处理器芯片，周围环绕着一堆内存芯片。

为 Nvidia 生产最新芯片的台积电也采用先进技术进行封装。台积电计划获得联邦政府在亚利桑那州生产芯片的补助，但尚未表示将把任何封装服务从台湾转移。

…

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

作者 | 上海交通大学、上海人工智能实验室
编辑 | ScienceAI
近日，上海交通大学与上海人工智能实验室联合团队发布3D医学图像分割大模型SAT（Segment Anything in radiology scans, driven by Text prompts），在3D医学图像（CT、MR、PET）上，基于文本提示实现对人体497种器官/病灶的通用分割。所有数据和代码、模型均已开源。

---

论文链接：https://arxiv.org/abs/2312.17183
代码链接：https://github.com/zhaoziheng/SAT
数据链接：https://github.com/zhaoziheng/SAT-DS/
…（省略部分内容）…

---

Note: Image links are preserved in the markdown content.

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

最近几天，圈里讨论最热闹的、打开手机社媒平台给我推荐最凶的，就是WAIC 2024了，恨不得全国大大小小的AI厂商都跑去参加了，争奇斗艳，主打百花齐放，国内AI发展一片繁荣之态～

WAIC 2024 全称是2024世界人工智能大会暨人工智能全球治理高级别会议，在上海举办，论参会规模，它称得上国内AI大会的Top。

在大会圆桌会议上，行业大佬们谈论技术、应用、安全治理、发展等，分享自己对AI行业的深刻见解和前瞻性思考。

---

今天，谈谈这几天看到的一个非常有意思的话题：

开源大模型和闭源大模型究竟谁才是“智商税？”

话题瞬间成为焦点！

自从ChatGPT推出以来，目前市场上有两种路径：开源和闭源。

闭源模型的代表OpenAI的ChatGPT及之后的模型、Anthropic的Claude系列，国内代表是百度的文心一言系列、智谱的部分GLM模型；

开源模型的代表则是Lecun带领的羊驼系列，从Llama 1逐步发展到最新的Llama 3，效果显著提升，并获得了广泛认可；国内的有面壁智能的MiniCPM、智谱GLM-130B等，截止到今年上半年，部分开源模型的能力已逼近甚至超越了GPT-4～

在这次讨论中，开源和闭源这个问题究竟谁是智商税竟然同时引起了两位大佬的青睐！奶茶给大家搬运过来，让我们听听行业大佬们的看法～

开源模型是一种‘智商税’？
7月4日在WAIC 2024期间，百度的创始人、董事长兼首席执行官李彦宏与第一财经传媒集团总编辑杨宇东及《硅谷 101》创始人陈茜进行了一次圆桌访谈，谈到了 “开源模型其实是一种智商税”。

李彦宏表示：“理性地分析大模型的价值及成本， 你会发现闭源模型始终是最佳选择。无论是ChatGPT还是文心一言等闭源模型，其性能都优于开源模型，推理成本更低。”

他进一步解释道：“开源模型无法与闭源模型竞争。闭源模型有许多变种，可以根据用户需求选择最合适的模型，这些小规模的闭源模型往往比同规模的开源模型效果更好。”

李彦宏提出了几个独特观点：

• 通过在Transformer架构上增加技术，如RAG，几乎可以消除幻觉问题。

• 闭源模型的推理成本几乎可以忽略不计，尤其在国内，百度的轻量级模型都是免费的。

• 开源模型是一种智商税，因为闭源模型明明性能更强，推理成本更低。

早在今年4月李彦宏在内部讲话中就曾明确表示，开源大模型意义不大，闭源模型在能力上会持续领先。开闭源模型之争只是国内声势浩荡的“百模大战”带来的一个小争议。

李彦宏还谈到，过去一年多时间里，行业深陷“卷模型”的热潮，众多企业投入大量资源开发各类模型，虽然推动了国产大模型的进步，但也造成了社会资源的浪费，尤其是算力资源。

他认为很多人混淆了模型开源和代码开源的概念：

“在相同参数规模的情况下，开源模型的能力往往不如闭源模型。若开源模型想要追平闭源模型的能力，就需要更大的参数规模，这必然导致推理成本增加和反应速度减缓。开源模型在学术研究、教学等特定场景下有其意义和价值，但在大多数应用场景中，商业化的闭源模型因其更高效、更精准的性能而更具优势。”

奶茶觉得李彦宏老师说的很有道理，但是也有一点不是非常认同～从现在的发展来看，确实闭源模型领先不少，可是从长远的人工智能发展、科技的发展来看,仅关注闭源模型当前时间节点的领先优势是不是有点早呢？

人工智能代表着未来,应该成为全人类的财富,开源能让每个人都有机会参与塑造这个未来，开源模型将大大提高模型的透明度和可解释性。尤其是，现在大模型的黑匣子特性引发了诸多伦理争议,比如偏见、隐私泄露等。开源绝对是大大有利于社会各界审视模型,推动人工智能健康发展的～

闭源模型才是一种“智商税”？
而就在短短两天后，猎豹移动董事长兼CEO、猎户星空董事长傅盛也在这个问题上发表了自己的看法，和李彦宏的看法截然不同–开源和闭源模型是相互竞争、共同发展的关系，不应一方压倒另一方，但是付费的闭源大模型才是“智商税”：

“我并不完全地倾向于开源阵营。我的观点是开源和闭源这两个阵营是彼此共同竞争，共同发展，但是从某种意义上来说，闭源是比开源会好一点点，因为毕竟投那么多钱那么多人。但是，开源在很多时候也够用，发展也很快。所以，我判断他们之间不会产生那种所谓的一个遥遥在上，另一方发展不起来的局面。而且，AI的历史也表明，开源生态不是今天才出现的，在以前在语音转文字等识别技术上，开源的力量也非常强了。即便模型不是代码开源，依然是“众人拾柴火焰高”。它能够让更多的人去使用更多的科研院校、更多中小公司的开源模型产品，形成了一个巨大的反馈网络，所以我就说‘蚂蚁雄兵’，它产生力量也很大。”

傅盛还指出，开源、闭源模型都不是核心的问题，但是付费的闭源大模型是“智商税”：

“首先从逻辑上来说开源是智商税这就是错的，因为开源大模型是免费的，他怎么来的智商税呢，谁在收税？事实上，现在开源大模型各种性能已经挺好的，很多企业都在使用，他们也没向谁交钱。如果今天企业用付费闭源大模型，那才叫‘智商税’，尤其是收很高的模型授权费、API费用，一年花了数百上千万，最后买回去当个摆设，甚至员工根本用不起来（模型）。因此，真正要把大模型在企业用好，就得结合企业实际应用落地，无论选用什么样的模型，最终是把这个模型和企业的实际场景相结合，做强应用，这样企业才能真正把 AI 给用好。”

傅老师说的也有点道理！！

首先需要明确“智商税”这一概念。智商税通常指的是消费者因缺乏足够信息或知识而支付了高于实际价值的价格。

但是奶茶想，如果只谈成本的话，部署、使用开源大模型也并非完全免费啊，还是需要花费点钞能力的。

根据网友的验证，初次验证模型时，使用API调用是最划算的。如果要持续训练和处理大量数据，就需要使用自己的服务器和开源模型，这样成本可能会很高，但是直接说付费闭源大模型是“智商税”是否也也有些过于绝对了？【手动狗头】

小结

不久前，“AI教母”李飞飞所在的斯坦福以人为中心的人工智能研究所（HAI）2023 年全球人工智能发展趋势的报告，根据报告中数据统计显示，2023年新发布的人工智能模型中，有65.7% 是开源的，相比之下，2022年和2021年的比例分别为44.4%和33.3%，数量上的占比大幅上升。

在性能测试上，闭源模型通常优于开源模型，在10个选定的基准测试中，闭源模型的中值性能优势达到了24.2%，差异范围从数学任务的GSM8K的4.0%到代理任务的AgentBench的317.7%。

那开源、闭源究竟哪个好呢？（究竟谁不是智商税呢？）

奶茶是这样看的：

从成本的角度来看，闭源模型的API成本较低，如果仅是调用的话，总价更低。但从长远来看，特别是在数据量大的情况下，自建开源模型成本低、灵活，性价比应该是更高的，究竟哪种AI模型成本低，要看根据实际情况选定，从而实现AI的长期效益。

从安全的角度来看，开源模型的虽然更快地促进技术的发展和创新，但是会导致技术被滥用，比如生成有害内容,或者被恶意训练，而闭源可以更好地控制技术的使用,防止滥用,保护商业利益。

从社区的长远发展来看，开源是有利于知识共享的,能让更多人参与改进模型,推动人工智能民主化，集众人之智,加速突破。而闭源会限制创新,形成垄断,阻碍技术进步。奶茶认为，开源模型本质上和开源软件是一类问题。从软件发展的历史来看,开源已经被证明是一条成功之路,很多关键软件都是开源的,极大推动了产业进步。因为，即使开源完全可以采取一些保护措施,比如延迟开源、设置使用条款等,在促进创新和防止滥用之间取得平衡。

综上所述，奶茶认为，这个问题的答案是两者利弊共存。

无论什么样的工具，怎么“用”永远是关键，不能简单地追求某种模型的“开源”或“闭源”属性，开源与闭源之争不应被视为非此即彼的选择，而是AI生态系统中不可或缺的两个方面。未来的胜者很可能不是选择了开源或闭源，而是能够灵活运用两种策略，在动态变化的环境中找到最佳平衡点的企业和开发者。

我们可以将AI模型视为一个价值阶梯。底层的基础模型适合开源，以推动整个行业的进步。而随着模型向更高层次、更专业化的方向发展，闭源策略可能更有利于保护知识产权和商业利益。

关于开源和闭源的问题，奶茶问了下Claude，得到了一个非常有意思的回答：（它输出的时候，奶茶已经怀疑自己，到底是我训AI还是AI训我呢？）

“我们可以将大模型的开源与闭源问题比作”薛定谔的AI”。以下是如何将这两个概念联系起来的分析：
1.不确定性原理：
- 薛定谔的猫：在观测前，猫既是活的又是死的。
- 大模型：在公开前，模型既是开源的又是…
```

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。

---

如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

万梓煜是上海交通大学的三年级在读博士生，导师为温颖教授和张伟楠教授，主要研究兴趣为强化学习与大语言模型、决策大模型。冯熙栋是伦敦大学学院四年级博士生，导师为汪军老师。同时目前也是Google DeepMind的student researcher。主要研究方向是强化学习与大语言模型，多智能体以及元强化学习。

2016年 DeepMind 的 AlphaZero 展示了强大的学习和适应能力，登上《自然》杂志封面，并在之后通过自我对弈不断提升自身水平，最终战胜了人类冠军，而这也为之后学者在大语言模型与树搜索的结构化结合奠定了基础。

大语言模型树搜索

大语言模型与思维链（Chain-of-Thought, CoT）的结合增强了其复杂推理能力，使其在数学和逻辑推理等任务上表现更佳。然而，语言模型仍存在误差：一方面，受数据数量和质量的影响，大语言模型在复杂任务上仍与专家系统和求解器有差距；另一方面，仅依靠大语言模型…

更多内容请查看原文

万梓煜是上海交通大学的三年级在读博士生，导师为温颖教授和张伟楠教授，主要研究兴趣为强化学习与大语言模型、决策大模型。冯熙栋是伦敦大学学院四年级博士生，导师为汪军老师。同时目前也是Google DeepMind的student researcher。主要研究方向是强化学习与大语言模型，多智能体以及元强化学习。

2016年 DeepMind 的 AlphaZero 展示了强大的学习和适应能力，登上《自然》杂志封面，并在之后通过自我对弈不断提升自身水平，最终战胜了人类冠军，而这也为之后学者在大语言模型与树搜索的结构化结合奠定了基础。

大语言模型树搜索

大语言模型与思维链（Chain-of-Thought, CoT）的结合增强了其复杂推理能力，使其在数学和逻辑推理等任务上表现更佳。然而，语言模型仍存在误差：一方面，受数据数量和质量的影响，大语言模型在复杂任务上仍与专家系统和求解器有差距；另一方面，仅依靠大语言模型…

更多内容请查看原文

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

2.4B 的 Memory3 比更大的 LLM 和 RAG 模型获得了更好的性能。

近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。

---

然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。

本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发，他们通过为 LLM 配备显式记忆（一种比模型参数和 RAG 更便宜的记忆格式）来降低这一成本。从概念上讲，由于其大部分知识都外化为显式记忆，因而 LLM 可以享受更少的参数大小、训练成本和推理成本。

• 论文地址：https://arxiv.org/pdf/2407.01178
• 论文标题：Memory3 : Language Modeling with Explicit Memory

作为初步的概念证明，研究者从零开始训练了一个 2.4B 的 LLM，它比更大的 LLM 和 RAG 模型获得了更好的性能，并实现了比 RAG 更高的解码速度。这个模型被命名为 Memory3，因为在 LLM 中，显式记忆是继隐式记忆（模型参数）和工作记忆（上下文键值）之后的第三种记忆形式。

具体而言，本文引入了一种新的记忆格式，即显式记忆，其特点是写入成本和读取成本相对较低。如图 1 所示，模型首先将知识库（或任何文本数据集）转换为显式记忆，实现为稀疏注意力键 - 值，然后在推理过程中调用这些内存并将其集成到自注意力层中。

新的记忆格式定义了新的记忆层次结构：

此外，本文还介绍了一种支持知识外化的记忆电路理论，并提出了可以让存储易于处理的记忆稀疏机制和促进记忆形成的两阶段预训练方案。

总结而言：

• Memory3 在推理过程中利用显式记忆，减轻了模型参数记忆特定知识的负担；
• 显式记忆是从构建的知识库中编码而来的，其中稀疏记忆格式保持了真实的存储大小；
• 研究者从头开始训练了一个具有 2.4B 非嵌入参数的 Memory3 模型，其性能超过了更大规模的 SOTA 模型。它还比 RAG 具有更好的性能和更快的推理速度；
• 此外，Memory3 提高了事实性并减轻了幻觉，并能够快速适应专业任务。

方法介绍

记忆电路理论有助于确定哪些知识可以存储为显式记忆，以及哪种模型架构适合读取和写入显式记忆。

研究者将输入输出关系作为电路的内部机制，并将知识定义为输入输出关系及其电路。通过操纵这些电路，人们可以从 LLM 中分离出许多知识，同时保持其功能完好无损。

Memory3：在架构方面，本文的目标是为 Transformer LLM 设计一个显式的记忆机制，使其写入成本和读取成本都比较低。此外，本文希望将对 Transformer 架构的修改限制在尽可能小的范围内，不添加任何新的可训练参数，这样大多数现有的 Transformer LLM 都可以在几乎不进行微调的情况下转换为 Memory3 模型。简单的设计过程如下：

写入成本：在推理之前，LLM 将每个参考写入显式记忆，保存在驱动器上。记忆是从自注意力层的键值向量中选择的，因此写入过程不涉及训练。每个引用都是独立处理的，避免了长上下文注意力的成本。

读取成本：在推理过程中，显式记忆从驱动器中检索，并与通常的上下文键值一起由自注意力读取。每个记忆由来自少量注意力头的极少量键值组成，从而大大减少了额外的计算、GPU 存储、驱动器存储和加载时间。它允许 LLM 频繁检索许多参考，而对解码速度的影响有限。

推理过程如图 9 所示，每当 LLM 生成 64 个 token 时，它就会丢弃当前记忆，使用这 64 个 token 作为查询文本来检索 5 个新记忆，并继续使用这些记忆进行解码。同样，在处理提示时，LLM 会为每 64 个 token 块检索 5 个记忆。每个块都会关注自己的记忆，并且不同块之间的记忆可能会有所不同。

写入与读取记忆：在推理过程中，LLM 可以通过其自注意力层直接读取检索到的显式记忆，方法是将它们与上下文键值连接起来（图 9）。具体来说，对于第 l 层的每个注意力头 h，如果它被选为记忆头，那么它的输出 Y^( l,h ) 将会改变：

此外，该研究对所有显式记忆采用并行位置编码，即所有键位置都位于长度为 128 的同一区间内，如图 9 所示。

两阶段预训练：预训练由两个阶段组成，warmup 和持续训练。只有持续训练阶段涉及显式记忆，而 warmup 阶段使用与普通预训练相同的格式。

实验结果

研究者评估了 Memory3 模型的一般能力（基准任务）、对话能力、专业能力（法律和医学）以及幻觉。此外，研究者还测量了 Memory3 的解码速度，并与类似和更大的 SOTA LLM 以及 RAG 模型进行了比较。

一般能力的评估结果如下所示，结果表明显式记忆使平均分提高了 2.51%。相比之下，Llama2-7B 与 13B 的得分差距为 4.91%。显式记忆可以将「有效模型大小」提高 2.51/4.91 ≈ 51.1%。

接下来作者评估了 Memory3 的对话技巧，结果列于表 18 中，表明模型以更少的参数胜过 Vicuna-7B、Falcon-40B-Instruct 和 ChatGLM2-6B。

目前，LLM 仍然面临幻觉问题。从概念上讲，Memory3 应该不太容易受到幻觉的影响，因为它的显式记忆直接对应于参考文本。为了评估幻觉，研究者选择了两个英文数据集进行评估。结果如表 19 所示，Memory3 在大多数任务上都取得了最高分。

使用显式记忆的一个好处是，LLM 可以通过更新其知识库轻松适应新领域和任务。只需将与任务相关的参考导入 Memory3 的知识库，并可选择在热启动的情况下将其转换为显式记忆。然后，该模型可以利用这些新知识进行推理，跳过成本更高且可能有损的微调过程，并且运行速度比 RAG 更快。图 4 已证明这种成本降低，并且可以促进 LLM 在各个行业的快速部署。

下表表明，Memory3 的表现优于大多数模型。

最后，研究者通过每秒生成的 token 数来评估 Memory3 的解码速度或吞吐量。

了解更多内容，请参考原论文。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

迄今为止，分辨率最高的编码单词含义的神经元 map 来了。

人类可以从语言中提取丰富而微妙的含义，这种能力对于人类交流来说至关重要。

---

然而，尽管人们对支持语言和语义处理的大脑区域的了解不断加深，但在细胞水平上的神经语义推导仍然存在很多未知。

最近，一篇发表在《自然》杂志上的研究论文，通过跟踪神经元在自然语音处理过程中的活动，该研究发现了单个神经元对语义信息的精细皮层表征。论文题为《Semantic encoding during language comprehension at single-cell resolution》。

论文地址：https://www.nature.com/articles/s41586-024-07643-2

该研究创建了迄今为止分辨率最高的神经元图（map），这些神经元负责编码各种单词的含义。

简单来说，当参与者聆听语义不同的句子和故事时，该研究记录左侧语言主导的前额叶皮层的单细胞活动。结果表明，在个体之间，大脑使用相同的标准类别来对单词进行分类 —— 帮助我们将声音转化为意义。

这些神经元选择性地响应特定的单词含义，并可靠地区分单词和非单词。此外，它们的活动不是将单词作为固定的记忆表征来响应，而是高度动态的，根据其特定的句子上下文反映单词的含义，并且独立于其语音形式。

总的来说，该研究展示了这些细胞群如何准确预测在语音过程中实时听到的单词的广泛语义类别，以及如何跟踪它们出现的句子。该研究还展示了如何编码这些意义表征的层次结构以及这些表征如何映射到细胞群上。这些发现在神经元尺度，揭示了人类语义表征的精细皮层组织，并开始阐明语言理解过程中细胞水平的意义处理。

一个神经元负责一切

同一组神经元对哪些词作出反应，这些词属于相似的类别，例如动作或与人相关的词。研究小组还发现，大脑可能会把一些单词相互关联，例如「鸭子」和「蛋」，这些信息会触发一些相同的神经元。具有相似含义的词，例如「老鼠」和「大鼠」，触发的神经元活动模式比「老鼠」和「胡萝卜」触发的模式更相似。其他神经元组对与更抽象的概念相关的词作出反应：例如，关系词，例如「上面」和「后面」。

大脑分配给单词的类别在参与者之间是相似的，这表明人类大脑都在以相同的方式对含义进行分组，Williams 表示。

前额叶皮层神经元不会根据单词的声音来区分单词，而是只会根据单词的含义来区分单词。例如，当一个人在句子中听到「Son」这个词时，与家庭成员相关的位置就会被点亮。而尽管发音相同，这些神经元对句子中的「Sun」并没有起反应。

读心术

这种理论建立之后，在一定程度上，研究人员能够通过观察人们的神经元放电来确定他们听到了什么。虽然他们无法重现确切的句子，但已经可以进行判断。例如，一个句子包含动物、动作和食物，顺序依次为动物、动作和食物。

「获得这种程度的细节，并一窥单个神经元层面发生的事情非常令人兴奋，」加州大学圣地亚哥分校工程师、脑机接口公司 Paradromics 首席科学官 Vikash Gilja 说道。令他印象深刻的是，研究人员不仅可以确定与单词及其类别相对应的神经元，还可以确定说话的顺序。

Gilja 表示，从神经元记录信息，要比使用以往的成像方法要快得多。理解语言的自然速度对于未来开发脑机接口设备的工作非常重要，新类型的设备可以为失去说话能力的人恢复说话能力。

参考链接：https://www.nature.com/articles/d41586-024-02146-6

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

Uber司机表示，即将到来的车费削减将在生活成本危机中进一步挤压他们，称这家网约车巨头在政府“封堵漏洞”立法的新标准确定之前削减了他们的报酬。

---

上周，Uber告诉司机，从8月7日起将调低乘客费用。公司并未告知司机具体降低的金额，但据了解平均将少于5％。Uber表示，此次调整是因为目前的经济环境和当地市场条件，而非对即将在8月26日生效、可能由澳大利亚公平工作委员会根据“封堵漏洞”立法来确定司机条件的最低标准的反应。该立法的生效后，可以向公平工作委员会提出设置交通行业兼职工作者可执行标准的申请。尽管Uber支持这项立法，但司机表示车费削减明显是为了应对即将来自公平工作委员会的变化做准备。布里斯班的司机、司机倡导组织Rideshare Driver Network的秘书Shane Millsom称Uber的宣布令人失望但并不意外。“新的封堵漏洞立法将在短期内生效，所以Uber明知故犯地降低了谈判的起始点，”他告诉《卫报澳大利亚版》。珀斯的司机本人也赞同：“如果这与封堵漏洞无关，为什么他们不能推迟一个月再做出改变，以便与司机和代表司机的运输工人联盟咨询？”悉尼的司机Tracey组织了一个Telegram群组，其中有300多名悉尼司机考虑因这些变化而同步抵制Uber，她表示这是Uber试图在公平工作委员会确定可能增加的最低标准之前设定车费的最低起始点。“我认为他们只是将费率调回当前的水平。他们看起来在做正确的事情，”Tracey告诉《卫报澳大利亚版》。Millsom表示，司机面临着汽油价格、保险、注册和汽车成本等生活成本压力。“现在司机要用更少的钱做更多的工作，在我们正面临生活成本危机、与驾驶有关的所有成本都飞涨的情况下，”他说。“他们只是要求司机用更少的钱做更多的工作，以便他们可以赚取更多利润。”Uber的一位发言人表示，公司会“持续审查定价”，并已告知司机计划从8月7日起调整全澳各地的乘客费用。Uber辩称，降低车费将导致乘客搭乘更多，司机能够赚更多钱。但司机表示，当车费被削减时，Uber之前也曾承诺过，但并未实现。Millsom表示，降低车费对于长期的司机来说是不可持续的，但公司依赖于司机的流动性。TWU的全国秘书迈克尔·凯恩表示，直到下个月新立法生效之前，标准仍在继续恶化，工业必须迅速行动以确定新的最低标准。“要确定最低标准命令要多长时间，工资和条件就会降得越低，”他在一份声明中说。“为兼职工作者和企业建立绑定标准的安全网至关重要。”劳工关系部长托尼·伯克没有提及Uber的降价计划，但表示不设定网约车司机最低标准的日子已接近尾声。“我们应该能够享有21世纪的技术，而无需忍受19世纪的工作条件。澳大利亚绝不能成为哪里工人必须依赖小费来维持生计的国家。”这些变化对于长期驾驶员来说将是双重打击。Uber宣布，从9月1日起，与公司合作时间较长的司机（且Uber获得了22％而非27.5％标准比率的司机）将被调高至更高的比率。Uber表示，这影响了澳大利亚不到10％的司机。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

戴森将裁掉英国约1000名员工，这是作为全球削减成本的一部分。

---

戴森是一家生产吸尘器和空气过滤器的公司，作为全球重组的一部分，将在英国裁员约1000人，这将使其英国员工人数减少超过四分之一。员工在周二早上被告知这项裁员计划，这是为了在全球范围内削减业务的15000名员工中的人数。

戴森以其无尘吸尘器、干手器和无叶风扇而闻名，在英国有3500名员工，分布在威尔特郡、布里斯托尔和伦敦。在五月份大选宣布之前的一段时间内，进行了导致这一决定的审查。

戴森首席执行官汉诺·基尔纳表示:“我们增长迅速，像所有公司一样，我们不时审查我们的全球结构，以确保我们为未来做好准备。因此，我们提出了对我们组织的改变，可能会导致裁员。”

他表示，裁员“总是非常痛苦的”，并承诺公司将支持受影响的员工。

戴森于1991年由发明家詹姆斯·戴森爵士在英国威尔特郡的马尔默斯伯里创立。尽管它赚取大部分产品的利润，但它在英国进行大部分的研究、开发和设计工作，这个国家将继续是该公司的主要研发中心。

马尔默斯伯里仍将是戴森学院的所在地，那里有160名本科工程师每周三天参与戴森项目，并学习两天。

在亚洲，戴森的最大市场中，戴森竞争的对手通常会在公司自己的家用电器推出后不久推出类似的产品。当公司的亲脱欧的创始人于2019年将集团的总部搬到新加坡时，他指出了供应链和亚洲客户的日益重要性。

自三十多年前成立以来，戴森从制造吸尘器发展到制造吹风机、风扇和空气过滤器。两年前，它推出了首款可穿戴产品：配备面罩的空气净化蓝牙耳机。它还进军了机器人行业，并希望到2030年推出能够完成家务杂务的机器。

那一年，公司向总部位于新加坡的创始人控股公司支付了12亿英镑的股息。股息支付给了母公司Weybourne Holdings，该公司还拥有亿万富翁的家庭办公室Weybourne Group以及英国在土地和保险上的投资。股利从2021年的10亿英镑增加到12亿英镑，使戴森过去五年从其技术公司提取的总额达到40亿英镑。

戴森是英国最富有的商人之一，根据《星期日泰晤士报》的估计，他的财富在五月份被估计为208亿英镑。

在去年十二月，他对《每日镜报》的出版者提起了诽谤诉讼，称该报的专栏作家暗示他是个伪君子，因为他“在将全球总部搬到新加坡之前曾支持“投票离开[欧盟]”……戴森在过去一年内对前保守党政府越来越批评，他在五月份声称拉希·苏纳克承诺将英国变成一个科学技术强国的承诺只是一个“单纯的政治口号”。

探索更多关于这些主题的信息
戴森有限公司
失业
技术行业
制造业
新闻
分享
复用这个内容。

请注意：新闻通讯部分中的信息不是必需的内容，因此可以省略。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。