858 Therapeutics与OpenBench合作开展小分子药物发现

合作将利用OpenBench的AI启用筛选平台,以补充858早期的发现工作
858 Therapeutics和OpenBench今天宣布合作,利用OpenBench的基于结构的机器学习平台发现小分子抑制剂。图片{ width=60% }


此次合作最初将重点放在由858 Therapeutics提名的一个未透露的靶点上。
根据协议,OpenBench和858将合作进行药物发现活动直至命中验证阶段。OpenBench将负责鉴定新颖且可开发的化学系列,而858将利用其专有的生物化学、生物物理和细胞测定确证和验证。OpenBench有资格根据858 Therapeutics规定的特定分子属性收到成功基于里程碑的支付,作为对符合要求的新颖化合物的奖励。858将获得任何购买的化合物的完全和专属权利,并将独自负责进一步的研究和开发。具体的财务条款没有透露。
“我们很高兴与OpenBench启动这次合作,”858 Therapeutics首席执行官Jeffrey Stafford博士表示。“通过其专有的AI平台,OpenBench团队已经建立了一系列充当挑战性靶点的新颖、可探索的化学物质。”
“858拥有深入的生物学洞察力,创新的研发管线,”OpenBench首席科学官Lewis Martin博士表示。“我们非常高兴能够运用我们专业的发现方法,丰富他们将新疗法带给患者的愿景。”



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

ChatGPT搜索搞不定勾股定理新证明,但国产AI可以!

文章来源:量子位

图片来源:由GPTNB生成

万万没想到,现在的国产AI搜索,竟然让我成功读懂了陶哲轩推荐的论文。

事情是这样的。


前几天陶哲轩在自己的主页上推荐了一篇关于勾股定理新证明的研究,引发了一波不小的讨论。

毕竟2500多年的数学定理,竟然还能出现“新玩法”,而且是两个高中生搞出来的。

带着好奇,去翻阅了一下论文,结果……

(试图唤醒尘封的记忆……以失败告终)

But!遇事不决,问问AI啊~~~

于是乎,我们打开了一个国产AI,很直接地搜索一句:

“陶哲轩推荐的勾股定理新证明的论文讲的是什么?”

然后它就“唰唰唰”地开始在网上找资源了,包括公众号文章、arXiv论文和权威期刊等等:

Image

不过这个AI接下来的表现,才是真正让人为之意外的,我们一步一步来看下它是怎么“求解”的。

首先,这个国产AI搜索,它会先铺垫一些背景知识,包括什么是勾股定理,以及2位高中生新证明的故事概要。

Image

然后它并没有直接进入证明过程,而是继续先铺垫三角学证明和几个先决条件,信源也是可以在右侧的参考链接中追溯。

Image

在预备知识就绪之后,这个AI才正式开始对新证明进行阐述。

Image

每一个步骤,每一个公式,可以说是非常清晰、一目了然了。

不仅如此,它,一个AI,竟然还会拓展上价值!

我们的问题只是限定在了论文,但它却把两位作者如何产生思路的灵感,以及这些研究对数学界的贡献都描述了出来。

或许这时你会问了,现在的AI搜索不都能做到这些吗?

非也非也,我们不妨来看看其它头部AI搜索的效果。

首先有请OpenAI最新推出的ChatGPT search,同样的问题之下,结果是这样的:

Image

嗯,生成的内容是有够短的……

但这并非是个例,再来看下Perplexity的表现:

Image

回答依旧是非常简短,重点是它俩都没法对数学公式、证明步骤等内容做出任何解析。

那么这个国产AI搜索到底是什么来头?

不卖关子,它就是由自昆仑万维天工AI推出的最新功能——高级搜索,而且是不限次数的那种哦~

地址:https://www.tiangong.cn/

Image

如果用四个字来形容天工AI高级搜索的特点,或许可以是“多快好省”:

  • :引入超10亿的专业型数据,包括网页、PDF(例如研报、财报、海内外权威学术文档)等。
  • :构建分钟级的信源收录系统,能够更快地收集全网高价值信息。
  • :AI可以把复杂的难题拆解为多个简单的问题,自动规划路径,一边思考一边执行。
  • :甚至引入了企业的收费数据,并且所有的功能都是免费的。

昆仑天工AI高级搜索的加入,也体现着AI搜索竞速来到了高端局

在海外,Perplexity之外,ChatGPT开始全面发力;在国内,Kimi探索版,昆仑万维天工AI高级搜索等也加入战局。

那么接下来,我们就继续深入了解一下。

最New的技术也能hold住

之前的AI搜索,有一个较为明显的通病,那就是回答的太泛,有种“听君一席话胜似一席话”的感觉。

从刚才ChatGPT search和Perplexity的例子中就能看出一二。

那么天工AI搜索对于特别新的知识的掌握能力到底能到何种程度,我们来一波实测。

最近要论AI圈里什么新概念最fashion,李飞飞提出的空间智能(Spatial Intelligence)绝对是其中一个。

我们不妨简单粗暴地搜一句:

“李飞飞空间智能的原理。”

首先映入眼帘的,就是超多的信源,来感受一下这个feel:

Image

而且从天工AI搜索的资源来看,它没有仅限于我们提问的“原理”,也做了相应的发散,包括定义、研究方向和应用等。

更重要的一点是,不仅生成的内容做了拓展,甚至还配上了对应的图片,颇有一种维基百科+完整科普文章的既视感了:

Image

之所以如此,是因为天工AI支持对学术论文、技术文档等的快速检索与深度解析,可以帮助研究人员迅速定位最具价值的研究成果。

我们还是横向对比来看,ChatGPT search给出的答案仅是罗列式且极其简单,并且也没有做相应的拓展:

Image

而Perplexity这边,虽然有拓展到应用场景,但内容上还是简单提了几句,并且二者都没有做到图文并茂。

因此这一波,国产的天工AI,胜!

金融领域,也是一把好手

除了最前沿的科学知识之外,天工AI搜索在金融财经方面也是具备较强的搜索能力。

例如我们还是非常简单地搜一句:

“英伟达Q3财报。”

老规矩,天工AI搜索还是会把超多的权威信源展示一波:

Image

然后它会从关键财务数据、分项业务表现、资产负债状况、现金流量、重要事件和未来发展,以及总结等多方面介绍英伟达Q3的表现。

同样的关键数据还是会以图文并茂的形式来呈现。

不仅如此,我们还可以继续追问更具总结性的问题:

“英伟达Q1-Q3财报的走势。”

对于这种多维度数据放到一起比较的问题,制作表格可以说是最一目了然的呈现方式。

对此,天工AI搜索也是get到了:

Image

不难看出,天工AI将关键的数据都转变成了表格的形式,而后再基于这些数据做文字性的提炼和总结。

它不仅能够实时提供股票、基金等金融资产的关键数据,还能对市场动态进行分析,提供精准的建议。

而面对类似这种较为复杂且具总结性的问题,反观ChatGPT search和Perplexity这边,则依旧是罗列式的文字。

Image

Image

这一局,天工AI搜索,win again。

不只是搜索这么简单

不过除此之外,天工AI搜索此次升级之后,还有一个更高阶的玩法——深度解析模式。

这个功能会更聚焦在超长文档的解读能力上。

我们这次以微软Q3财报的case为例,若是把鼠标悬停在“PDF”处,页面便会弹出一个小窗口:

Image

而这正是天工AI搜索在生成结果过程中所引用的关键文档之一,要是对这个文档内容感兴趣,我们可以点击弹窗中的深度解析进一步了解。

进入这个页面之后,我们可以通过自然语言对话的方式对文档中的内容提出问题,或者也可以让AI做总结性、提炼性的工作。

当然,根据报告生成脑图也是不在话下:

Image

如果你手头上有现成的需要解析的文档,天工AI搜索也是可以处理——AI文档-音视频分析功能。

只需一个上传的动作,剩下的统统交给AI。

Image

例如我们把特斯拉今年三季度的报告(英文版)上传之后,天工AI搜索就可以从众多复杂的财务报表中提取关键数据,整理成关键指标表格(支持一键复制)。

而且也可以根据需要,对比每条数据间的关系,做进一步分析原因。

对于超长的文档,天工AI搜索的文档解读功能,是可以图文并茂地提炼最核心内容的哦~

Image

不过有一说一,对于单个文档的处理,还不能够完全体现天工AI搜索的能力,毕竟市面上的许多AI产品也是能够做到。

但这一次,天工AI是可以做到联动多个文档,一块进行处理了!

例如我们把特斯拉和谷歌两家公司的财务报表一块“喂”进去,天工AI搜索跨文档回答用户的所有问题:

Image

由此可见,天工AI搜索在此次升级之后,不仅可以对复杂问题的分析推理与逐步解决,还针对学术和金融等这些强需求的领域做针对性的优化。

嗯,着实是上了一波大分。

怎么做到的?

天工AI的最新搜索能力远非简单的关键词匹配,而是通过复杂的多层次技术堆栈,为用户提供深度且权威的搜索体验。

首先就是分钟级实时内容检索与精准信息索引。

这种方法结合了大规模预训练语言模型与“分片”和“多域建模”技术,通过对海量数据的精准分片存储和索引,确保检索结果的高相关性与精准性,能够迅速捕捉最新的新闻事件、财经动态以及学术成果。

其次是深度推理与复杂问题分析。

结合自研搜索引擎与具备强大推理能力的大规模语言模型,天工AI不仅能够深入挖掘细节,还能从多个角度对结果进行总结,以确保用户获得的是深刻且权威的解答。

这种能力在应对跨领域复杂难题或逐步解决的多阶段任务时可以说是尤为关键。

最后是高权威信息的信源保障。

天工AI通过融合多种算法(如PageRank、GNN等)对信息质量进行评估,建立了严格的信源权威性评价体系,可以自动识别低质量或虚假信息。

此外,天工AI还引入了企业级的实时收费数据,例如股票市场数据,以满足用户对信息时效性和准确性的高要求。

不过现在还有一个问题值得聊

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI离不开微软,但Anthropic正在成为新宠

不久前,OpenAI 和 Microsoft 似乎是不可战胜的。然而,现在,他们的竞争对手正在迎头赶上。


巨头支持方面,Anthropic 的 Claude 模型一点都不弱,甚至隐隐有了超越ChatGPT的趋势。
前不久,Microsoft 支持的 GitHub 已将 Claude 添加到 Copilot,而Amazon 一早就已将 Claude 添加到 Q Developer (Code Whispherer) 中。
此外,Meta 的 Llama 现在在用户方面可与 ChatGPT 相媲美,是开源及其他领域家喻户晓的名字。
相比之下,OpenAI 早些发布的 o1 反馈确是喜忧参半。就连 OpenAI 首席执行官 Sam Altman 都不得不谦虚地将该模型称为“用于推理的 GPT-2”,同时称其“存在严重缺陷”。

Anthropic优先考虑工程,OpenAI更关注用户

除了推理能力之外,OpenAI 似乎更关注语音功能,特别是迎合其最终用户。相比之下,Anthropic 似乎优先考虑工程和 API 方面。OpenAI 最近推出了富有表现力的可控语音,用于语音转语音体验,并通过提示缓存降低成本。文本输入折扣 50%,音频输入折扣 80%。此举使高级实时 AI 更容易获得。

图片来源:由GPTNB生成

与此同时,Anthopric 还在尝试在 Claude 移动应用上为特定用户提供语音听写功能,最长可录制 10 分钟。
OpenAI 在 AI 编码方面也面临着来自 Anthropic 的日益激烈的竞争。该公司正在改进自己的工具来处理复杂的编码任务和自动化代码生成等操作,尽管 Anthropic 最近推出的“计算机使用”功能使其具有优势。
“AI 编码还不能完全取代工程师,需要’一些指导’,”Anthropic 联合创始人 Daniela Amodei 分享道。她还指出,他们的 Claude 模式显著提高了生产力,有可能重塑招聘策略。
随着两家公司都在推动 AI 主导地位,OpenAI 即将发布的版本可能会影响市场,可能会对 GitHub Copilot、Cursor 和其他编码助手等产品构成挑战。

有钱能使鬼推磨

虽然与去年相比,OpenAI 和 Anthropic 的用户都出现了显著增长,但它们的创收策略揭示了截然不同的方法。
根据上述分析,OpenAI 的大部分收入增长来自其 AI 模型(如 ChatGPT)的付费订阅,而 Anthropic 的大部分收入是通过 API 服务获得的。

AIM

实时 API 以及语音和语音控制等创新使 OpenAI 的收入在 2024 年飙升至 40 亿美元,比去年增长 580%。他们的预测收益更令人印象深刻,预测表明他们在 2025 年可能达到 116 亿美元。
对于 Anthropic 来说,可用性的飞跃促进了收入增长,今年达到 10 亿美元,增长了 1000%,大部分收入来自 API 访问,迎合寻求无缝 AI 集成的开发人员(这一点跟OpenAI今年在开发人员方面发力的做法是相类似的)。
如果没有 Microsoft,OpenAI 几乎无法生存。这家科技巨头与 OpenAI 根深蒂固的合作伙伴关系,包括迄今为止投资超过 130 亿美元,现在预计季度亏损将达到 15 亿美元。Microsoft 将这一成本归因于其在 OpenAI 中的股权,因为后者面临不断增加的费用以维持其快速增长。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

腾讯放大招,超Meta!史上参数最大,开源专家混合模型

图片来源:由GPTNB生成

开源大模型领域迎又来一位重磅玩家——腾讯。

腾讯一出手就是个超大模型,开源的Hunyuan-Large是目前市面上最大基于 Transformer 架构的专家混合(MoE)模型。


一共有 3890 亿参数,其中激活参数为 520 亿,具备处理长达 256K 上下文能力。

根据腾讯公开测试数据显示,Hunyuan-Large 不仅超过了社交巨头 Meta 开源的最新、最大模型 LLama3.1 - 405B,并且在激活参数数量显著减少的情况下,实现了高达 3.2% 的性能提升。在数学、日常推理、文本生成等方面非常优秀。

开源地址

huggingface

云开发平台

image

Hunyuan-Large 采用了高效的 MoE 结构,使用多个专家替换了 Transformer 中的原始前馈网络。在训练过程中,只有一小部分专家会被激活,这样的设计使得模型能够更加高效地进行训练和推理。

一共包含共享专家和专用专家两种模式,不仅能够捕捉所有 token 所需的共同知识,还能够动态学习特定领域的知识。同时 Hunyuan-Large 还开发了一种新的回收路由策略,用于处理在原始 top-k 路由过程中被丢弃的 token。这种策略通过将这些 token 重新分配给未超过容量的其他专家,以优化训练效率和稳定性。

Hunyuan-Large 还对 KV 缓存进行了创新,使用了压缩技术。在传统的 Transformer 架构中,每层都会维护一个用于存储先前计算出的键值对的缓存,这对于支持长序列输入非常必要。但随着序列长度的增长,这种缓存机制会导致巨大的内存开销。

而 KV 缓存压缩技术通过减少 KV 缓存的存储需求来降低内存占用,同时保持了模型对于长序列处理的能力,可以有效地减少键值对的存储空间,而不牺牲准确性或速度。即使面对非常长的文本输入,模型也能高效运行,不会因为内存限制而受到阻碍。

image

在专家特定的学习率缩放方面,Hunyuan-Large 采用了 AdamW 作为优化器,并根据批量大小调整学习率。根据最新的研究,对于 Adam 风格的优化器,最佳学习率与批量大小之间的关系有了新的理解。Hunyuan-Large 根据每个专家在单次迭代中处理的 token 数量不同,为不同专家分配了不同的学习率,以优化训练效率。

训练数据方面,Hunyuan-Large 一共使用了 7 万亿 token 数据进行了预训练,其中包括近 1.5 万亿的高质量和多样化的合成数据。这些合成数据的生成过程涉及四个关键步骤:指令生成、指令演化、响应生成和响应过滤。

在指令生成阶段,利用高质量的数据源,如网页、问答数据、代码库、书籍等,配合多样化的指令生成提示,生成覆盖多个领域的多样化指令。在指令演化阶段,通过增强指令的清晰度和信息量、扩展低资源领域指令以及增加指令难度等手段,进一步提升指令的质量。

响应生成阶段则利用多个专业化模型为这些演化后的指令生成信息丰富、准确的答案。最后,在响应过滤阶段,通过批评模型和自一致性检查,确保合成的指令-响应对的质量,有效去除低质量或不一致的数据。

image

在 Hunyuan-Large 的训练过程中,学习率调度扮演了至关重要的作用,一共分为三个阶段:初始的预热阶段、随后的逐渐衰减阶段,以及最后的退火阶段。这种设计使得模型能够在初始阶段有效地探索解空间,避免过早收敛到次优的局部最小值。随着训练的进行,学习率的逐渐降低确保了模型能够向更优解收敛。

在预训练的最后 5% 阶段,Hunyuan-Large 引入了退火阶段,将学习率降低到峰值的十分之一。这有助于模型细致地调整参数,实现更高的泛化能力,从而提升整体性能。在这个阶段,模型优先使用最高质量的数据集,这对于增强模型在退火阶段的性能至关重要。

在退火阶段之后,Hunyuan-Large 还进行了长文本预训练,以增强其处理长文本的能力,逐渐增加 token 长度从 32K 增长至 256K。Hunyuan-Large 采用了 RoPE 来构建位置嵌入,并在 256K 预训练阶段将 RoPE 的基础频率扩展到 10 亿。

长文本预训练的数据主要来自书籍和代码等自然长文本数据,这些数据与正常长度的预训练数据混合,形成了长文本预训练语料库。

腾讯将 Hunyuan-Large 与 LLama3.1-405B、LLama3.1-70B、Mixtral-8x22B 和 DeepSeek-V2 市面上超大开源模型进行了综合评测。

结果显示,Hunyuan-Large 皆取得了超强的性能表现,例如,在 CommonsenseQA 测试中,Hunyuan-Large 的准确率达到 92.9%,而 LLama3.1 - 70B 为 84.1%,LLama3.1 - 405B 为 85.8%。

在 PIQA 测试中,Hunyuan-Large 的准确率为 88.3%,优于 LLama3.1 - 405B 的 83.7%。在 WinoGrande 测试中,Hunyuan-Large 的准确率达到 88.7%,超过了 LLama3.1 - 70B 的 85.3% 和 LLama3.1 - 405B 的 86.7%。



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

OpenAI强势出击!将ChatGPT转变为搜索引擎,并斥资50亿开发定制版AI芯片

10月31日,OpenAI宣布将其广受欢迎的ChatGPT服务升级为一个功能强大的搜索引擎,这是该公司为与谷歌竞争而采取的最大胆的举措。

Image 1

升级后,用户可以用简单的英语提问,并获得有关新闻、体育、股票和天气的实时信息,而在此之前,这些功能都需要单独的搜索引擎。


OpenAI发言人表示:“我们认为,搜索应该像对话一样自然,我们将首先向付费用户推出这项功能,并计划在未来几个月内扩展到免费用户。”

01.OpenAI的新型AI搜索如何运作?

与传统搜索引擎(如谷歌和微软必应)返回的链接列表不同,ChatGPT现在可以用自然语言处理问题,提供经过筛选的答案,并清晰地标注信息来源。

用户可以点击访问原始来源或提出后续问题,以深入挖掘主题。

这项技术建立在OpenAI今年7月的SearchGPT实验基础上,该实验由1万名用户进行了搜索功能测试,帮助OpenAI来完善AI处理网络信息和属性来源的方式。

该系统基于OpenAI最新的GPT-4o模型进行专门调整。OpenAI在海量网络数据上对其进行了训练,并对其进行了微调,并细化了其在长对话中理解上下文的能力。

02.主要新闻出版商与OpenAI合作

美联社、Axel Springer和Vox Media等主要新闻机构已与OpenAI合作提供内容。

这些合作旨在解决人们长期以来的担忧,例如人工智能系统使用未经许可或付费的出版商作品等。

Vox Media总裁Pam Wasserstein在一份声明中表示:“ChatGPT搜索有望更好地突出新闻的来源并对其进行归纳,从而使受众受益。”

Image 2

“这也扩大了优质新闻出版商的影响力。同时,出版商可以选择不将其内容用于人工智能训练,但仍然可以出现在搜索结果中。”

03.OpenAI 50亿美元押注定制芯片和AI基础设施

此次发布正值OpenAI建立自己的技术基础设施之际。

OpenAI近期宣布与AMD、博通(Broadcom)和台积电(TSMC)达成协议,将在2026年前开发出定制的人工智能芯片,旨在减少对英伟达昂贵处理器的依赖。

这些投资金额并不小。微软作为OpenAI最大的支持者,投入了近140亿美元

微软本周表示,双方的合作将使其季度利润减少15亿美元。同时,OpenAI预计今年的计算成本将达到50亿美元。

对定制硅片和基础设施的大规模投资预示着OpenAI战略的关键转变。

当大多数人工智能公司仍然依赖于英伟达(Nvidia)的芯片和云计算提供商的数据中心时,OpenAI正在雄心勃勃地谋求技术独立。

这是一个冒险的赌注,既可能耗尽公司的资源,也可能使其在AI竞赛中获得不可逾越的优势

Image 3

通过掌控自己的芯片命运,OpenAI有可能在2026年之前将计算成本降低一半。更重要的是,专为GPT模型优化的定制芯片可以实现通用人工智能处理器无法实现的功能。

这种从芯片到机型再到消费产品的垂直整合,与苹果公司在智能手机领域占据主导地位的玩法如出一辙。

新的搜索功能将出现在ChatGPT的网站和移动应用上。企业客户和教育用户将在未来几周内使用这些功能,随后将逐步推广到OpenAI的数百万免费用户。

目前,谷歌仍是搜索领域的主导力量。但随着AI技术的进步,越来越多的用户开始习惯使用对话式界面,在线信息搜索的竞争似乎正面临数十年来最大的变革.

原文来源于:
1. https://venturebeat.com/ai/openai-turns-chatgpt-into-a-search-engine-aims-directly-at-google/
中文内容由元宇宙之心(MetaverseHub)团队编译,如需转载请联系我们.

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

用AI“复活”8年前的老产品,拿下570万美元融资、20万预注册用户

「Daze」是一款可发送“自由式消息”的通讯应用,以 Z 世代为主要客群。区别于 iMessage 和 WhatsApp 等应用统一使用蓝色或者绿色气泡规整呈现对话的方式,「Daze」让对话“漂浮”在屏幕上,并允许用户使用不同的字体、贴图、动画,甚至是小游戏来进一步丰富对话。


以上新颖的交互设计,很快让「Daze」“未发先红”。

「Daze」在 TikTok 上发布的一则热门视频,清晰指向了「Daze」的应用场景——熟人社交。视频中的友人A在「Daze」的消息界面画出一个简笔三岔路,分别指向“做朋友”、“友谊之上”以及“待确定”,让对方选择。当友人 B 选择了“待确定”,友人A依次又让他/她通过一座小桥,选择是否要打开路遇的一个信封,最终委婉发出约会邀约……

「Daze」收获了大量外媒报道。点点数据显示,「Daze」尤其在欧洲市场表现相对抢眼,目前登上了英国、德国、加拿大等 48 个国家的 iOS 社交下载榜 Top10,其在美国市场的最好成绩是 iOS 社交下载榜 Top11,在应用下载总榜的成绩为 Top155。即使成功“搅动”多国社交榜单,但是还是得说,「Daze」在总榜上基本没有存在感,和此前造势的情况太不相称。…

时隔8年卷土重来,「Daze」来自老产品翻新?…

加入AI,就能拯救一款关停的产品吗?…

写在最后…


References:
- 图片来源
- 更多图片
- 原文链接

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

实测国内首个AI播客!有点意思,但NotebookLM还是大爷

AI好好用报道

编辑:杨文

谷歌NotebookLM 这座高峰仍不可逾越。

一个月前,谷歌推出了一款免费强大的工具 ——NotebookLM 。


其中最出圈的一个功能就是音频概览,俗称 AI 播客。
仅需一个链接或文档,它几分钟就能转成接地气的男女对谈。
(查看详情,请移步:NotebookLM 新功能引发网络疯传 ,AI 大神、Altman 大赞,一手实测来了
NotebookLM 体验链接:
https://notebooklm.google.com/
遗憾的是,目前NotebookLM 虽然可以读懂中文材料,却无法输出中文播客。
不过,国内开发者也已搞出了不少国产 AI 播客平替。
比如号称「国内首个 AI 播客」的声智 APP、号称「中文版 NotebookLM 最好用」的 PodLM。
PodLM 体验链接:
http://podlm.ai/
接下来,我们就让它们和谷歌 NotebookLM 来个同台竞技,看看这些国产 AI 播客到底能不能打。
-1-
国产 AI 播客大战谷歌 NotebookLM
声智 APP 是由北京声智科技有限公司开发的一款应用。
它的主打功能是多语翻译、实时转写和智能写作。最近它又上线了 AI 播客功能。
其用法与谷歌 NotebookLM 相差无几,也是上传文章链接或文件,PDF、word、txt 格式均可,但上传的文件不超过 2M。
唯一的不同,就是声智 APP 可以选择喜欢的音色。
它提供 11 种音色,包括国风少年音、日系甜美音、专业主播音、优雅知性音等。
我们将之前的一篇稿件链接丢给它 ——《叫好不叫座!2.5 万卖不动!苹果 Vision Pro 或将年底停产》—— 不到一分钟,就生成了一个 3 分钟的播客。
为了方便阅读,还在页面上方给出了文字版。
从内容上来说,声智的 AI 播客很会抓重点,基本能把稿件中的重要内容摘出来。
从苹果 Vision Pro 刚推出时的火热,到 Vision Pro 可能在年底停产,再到背后的原因剖析,它讲得头头是道。
它还可以将稿件打碎重组,并用口语化语言,在两人一唱一和中表达出来。
不过,该 AI 播客还有一些瑕疵。
比如语速较慢,还无法控制语速;声音略显僵硬,尤其是专业主播音,男生磁性音色,再加上字正腔圆的…



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

调研180多篇论文,这篇综述终于把大模型做算法设计理清了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。


如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.comzhaoyunfeng@jiqizhixin.com

本文第一作者柳斐(https://feiliu36.github.io/ )是香港城市大学计算机科学系博士生,师从张青富教授。研究领域为计算智能,自动算法设计,组合优化等。姚一鸣,郭平,杨致远,赵哲和林熙来自香港城市大学张青富教授团队。陆智超为香港城市大学计算机科学系助理教授。王振坤为南方科技大学系统设计与智能制造学院助理教授。童夏良和袁明轩来自华为诺亚方舟实验室。

论文标题:A Systematic Survey on Large Language Models for Algorithm Design
论文地址:https://arxiv.org/abs/2410.14716

算法设计(AD)对于各个领域的问题求解至关重要。大语言模型(LLMs)的出现显著增强了算法设计的自动化和创新,提供了新的视角和有效的解决方案。在过去的三年里,LLMs 被整合到 AD(LLM4AD)中取得了显著进展,在优化、机器学习、数学推理和科学发现等各个领域获得广泛研究和应用。鉴于这一领域的快速发展和广泛应用,进行系统性的回顾和总结既及时又必要。本文对 LLM4AD 的研究进行了系统性回顾。首先,我们概述和总结了现有研究。然后,我们沿着四个维度,包括 LLMs 的作用、搜索技术、提示策略和应用,提出了一个系统性分类和现有研究的回顾,讨论了使用 LLMs 的潜力和成就。最后,我们探讨当前的挑战,并提出了几个未解问题和未来研究的方向。

  1. 引言

算法在解决各个领域的问题中发挥着至关重要的作用,包括工业、经济、医疗和工程等领域。传统的手工设计算法的方法繁琐且耗时,需要广泛的专业知识和大量的努力。因此,人们越来越关注在算法设计中采用机器学习和计算智能技术以自动化和增强算法开发过程。

近年来,大型语言模型(LLMs)已经成为生成人工智能领域的重大突破。LLMs 以其庞大的模型规模、巨大的训练数据和在语言理解、数学推理、代码生成等各个研究领域中有着出色的表现。在过去的三年里,大型语言模型用于算法设计(LLM4AD)已经成为一个新兴的研究领域,有望增强甚至重塑算法的构思、优化和实施方式。LLMs 的强大功能和适应性展示了其在改进和转变算法设计过程中的潜力,包括启发式生成、代码优化,甚至创造针对特定问题的新算法。这种方法不仅减少了设计阶段所需的人力,还提高了算法设计过程的创新性和效率。

尽管 LLM4AD 领域正在受到广泛研究和应用,但在这一新兴领域仍然缺乏系统性综述。本文旨在通过提供一个最新的多维度的系统综述来填补这一空白,全面展示 LLMs 在算法设计中的应用现状、主要挑战和未来研究方向。本文有助于深入探讨 LLMs 在增强算法设计方面的潜力,并为这一令人兴奋的领域的未来创新打下坚实基础。我们希望这将成为对该领域感兴趣的研究人员的有益资源,并为经验丰富的研究者提供一个系统性的综述。本文的贡献如下:

  • LLM4AD 的系统综述:我们首次对过去三年中发表的 180 多篇高度相关的研究论文进行了系统综述,探讨了使用 LLMs 进行算法设计的发展。
  • LLM4AD 的多维度分类:我们引入了一个多维度分类法,将 LLM4AD 的作品和功能分为四个不同的维度:1)LLMs 在算法设计中使用的四种范式,概述了这些模型如何为算法设计做出贡献或增强算法设计;2)搜索方法,探讨了 LLMs 用于导航和优化算法设计中搜索空间的各种方法;3)提示词设计,研究了如何使用不同的提示策略;以及 4)应用领域,确定 LLMs 正在应用于解决的不同领域。
  • LLM4AD 的挑战和未来方向:我们不仅仅是对现有文献进行总结,而是对当前关于算法设计中大型语言模型(LLMs)研究的局限性进行了批判性分析。此外,我们提出了潜在的未来研究方向,包括开发领域特定的 LLMs、探索多模态 LLMs、促进人与 LLM 的互动、使用 LLMs 进行算法评估和理解 LLM 行为、推进全自动算法设计,以及为系统评估 LLM 在算法设计中的表现进行基准测试。这一讨论旨在激发新的方法并促进该领域的进一步发展。
  1. 大模型用于算法设计概览

本文旨在对新兴领域 “大语言模型用于算法设计”(LLM4AD)中现有研究工作进行系统的梳理和分类。我们并不打算涵盖所有关于大型语言模型(LLMs)和算法的文献。我们的调查范围如下所述:1)“大语言模型” 一词指的是规模足够大的语言模型。这些模型通常采用 Transformer 架构,并以自回归方式运行。使用较小模型进行算法设计的研究,如传统的基于模型和机器学习辅助的算法,不在考虑范围内。虽然精确定义 “大型” 模型具有挑战性,但大多数前沿的大型语言模型包含超过十亿个参数。使用其他大型模型缺乏语言处理能力的研究,如纯视觉模型,不在考虑范围内。然而,包括语言处理的多模态大型语言模型则在我们的调查范围之内。2)“算法” 一词指的是一组设计用来解决问题的数学指令或规则,特别是当由计算机执行时。这个广泛的定义包括传统的数学算法、大多数启发式方法,以及可以被解释为算法的某些策略。

我们介绍了论文收集和扫描的详细流程,包括四个阶段:

  • 第一阶段 数据提取和收集:我们通过谷歌学术、科学网和 Scopus 收集相关论文。我们的搜索逻辑是标题必须包含以下两组词语中至少一组的任意组合:“LLM”、“LLMs”、“大型语言模型”、“算法”、“启发式”、“搜索”、“优化”、“优化器”、“设计”、“方法”(例如,LLM 和优化,LLMs 和算法)。在移除重复的论文后,截至 2024 年 7 月 1 日,我们共收集到 850 篇论文。
  • 第二阶段 摘要筛选:我们检查每篇论文的标题和摘要,以有效排除不相关的论文。排除的标准包括这些论文不是英文的,不是用于算法设计的,没有使用大型语言模型的。扫描后,剩余 260 篇论文。
  • 第三阶段 全文筛选:我们彻底审查每篇论文,排除缺乏相关内容的论文。扫描后,剩余 160 篇论文。
  • 第四阶段补充:根据对该领域的了解,我们手动添加了一些相关的工作,以避免遗漏任何重要的贡献。在整合了额外的论文后,我们最终得到了 180 多篇论文。我们将首先介绍 LLM4AD 论文列表的概览,然后提出一个分类法来系统地回顾进展。除了组织好的论文列表之外,我们还纳入了 2024 年 7 月 1 日之后发布的一些重要出版物。

图中展示了随时间变化的论文发表数量趋势,时间线以月份表示。图表显示,与 LLM4AD 相关的研究活动显著增加,特别是注意到大多数研究是在近一年进行的。这表明 LLM4AD 是一个新兴领域,随着来自不同领域的学者意识到其巨大潜力,我们预计在不久的将来研究产出将显著增加。

图中还显示了在 LLM4AD 出版物中领先的机构及其所在国家。美国领先,紧随其后的是中国,这两个国家单独占据了 50%的出版物。接下来的八个国家,包括新加坡、加拿大和日本,共同贡献了总出版物的三分之一。发表最多论文的研究机构包括清华大学、南洋理工大学和多伦多大学等知名大学,以及华为、微软和谷歌等大型公司。这种分布强调了研究主题的广泛兴趣和它们在现实世界中的实际应用的重大相关性。

我们从所有审查过的论文的标题和摘要中生成了词云,每个词至少出现五次。它展示了前 80 个关键词,这些词被组织成四个颜色编码的簇,分别是 “语言”、“GPT”、“搜索和优化” 以及 “科学发现”。还突出显示了几个关键词,如 “进化”、“策略”、“优化器” 和 “代理”。

  1. 大模型用于算法设计的四种范式

LLM4AD 论文按照大模型的结合方法可以分为四个范式:1)大模型作为优化算子(LLMaO)、2)大模型用于结果预测(LLMaP)、3)大模型用以特征提取(LLMaE…

  1. 大模型用于算法设计中的搜索方法

目前的经验表明,单独采用大模型来进行算法设计往往难以应对特定的复杂算法设计任务。通过搜索方法的框架下调用大模型能够显著提升算法设计效率和效果。我们综述了目前在 LLM4AD 中采用的搜索方法,并将其大致分为四类:1)基于采样的方法,2)单点迭代的搜索方法,3)基于种群的搜索方法和 4)基于不确定性的搜索方法。详细的介绍和讨论可以在原文中查看。

  1. 大模型用于算法设计中的提示词设计

图中展示了文献中使用的领域或预训练语言模型(LLMs)的百分比。其中,超过 80%的研究选择使用未经特定微调的预训练模型,大约 10%的研究在领域数据集上对预训练模型进行了微调,其中只有 4.4%的模型是在特定问题上从头开始训练的。图中还展示了最常使用的 LLMs。在 LLM4AD 的论文中,GPT-4 和 GPT-3.5 是使用最多的 LLMs,总共占了大约 50%。Llama-2 是最常用的开源 LLM。一旦我们拥有了预训练的 LLMs,提示工程对于有效整合 LLMs 到算法设计中非常重要。我们讨论了 LLM4AD 论文中使用的主要提示工程方法的应用情况,包括零样本、少样本、思维链、一致性和反思。

  1. 大模型用于算法设计的应用领域

我们整理了四个主要的应用领域:1)优化,2)机器学习,3)科学发现,4)工业。其主要工作按照应用类别、方法、大模型结合范式、提示词策略和具体应用问题进行了分类罗列。具体介绍可以在全文中查看。

  1. 未来发展方向
  • 算法设计大模型 与使用通用的预训练 LLMs

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

腾讯混元又来开源,一出手就是最大MoE大模型

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。


如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.comzhaoyunfeng@jiqizhixin.com

随着人工智能技术的快速发展,大型语言模型(LLMs)在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而,随着模型规模的扩大,如何在保持高性能的同时优化资源消耗成为关键挑战。为了应对这一挑战,腾讯混元团队率先采用混合专家(MoE)模型架构,最新发布的 Hunyuan-Large(Hunyuan-MoE-A52B)模型,是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 389B 总参数和 52B 激活参数。

本次腾讯混元 - Large 共计开源三款模型:Hunyuan-A52B-Pretrain,Hunyuan-A52B-Instruct 和 Hunyuan-A52B-FP8,可支持企业及开发者精调、部署等不同场景的使用需求,可在 HuggingFace、Github 等技术社区直接下载,免费可商用。通过技术优化,腾讯混元 Large 适配开源框架的精调和部署,具有较强的实用性。腾讯云 TI 平台和高性能应用服务 HAI 也同步开放接入,为模型的精调、API 调用及私有化部署提供一站式服务。

Hunyuan-Large 整体模型效果

公开测评结果显示,腾讯混元 Large 在 CMMLU、MMLU、CEval、MATH 等多学科综合评测集以及中英文 NLP 任务、代码和数学等 9 大维度全面领先,超过 Llama3.1、Mixtral 等一流的开源大模型。

技术创新点

MoE (Mixture of Experts),也即混合专家模型,MoE 模型的每一层都包含多个并行的同构专家,一次 token 的前向计算只会激活部分专家。MoE 模型的每一层会采用路由算法,决定了 token 会被哪些专家处理。MoE 是一种稀疏的网络结构,具有比激活总参数量同等大小稠密模型更优越的性能,而推理成本却远低于总参数量相同的稠密模型。

得益于 MoE (Mixture of Experts) 结构的优越性,混元 Large 可以在保证模型推理速度的同时,显著提升模型的参数量进而提升模型性能。


1
2
Continue the rest of the text in the same format...

Please continue the same format for the remaining content…

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

史上第一次,英特尔在数据中心市场输给了AMD

然而两家都远远落后于英伟达。

在消费级芯片市场形势逆转之前,服务器芯片的市场已经先喊出 AMD yes 了。


史上第一次,AMD 从数据中心处理器市场中获得的利润超越了英特尔。

图片

近二十多年来,英特尔一直是数据中心 CPU 市场无可争议的领导者,其提供的 Xeon 处理器为全世界大多数的服务器提供动力。另一方面,仅在七八年前,AMD 的处理器还只能占据个位数的市场份额。

如今情况已发生了巨大变化。虽然英特尔的 Xeon CPU 仍然为大多数服务器提供动力,但越来越多的新服务器,特别是高端设备已经趋向于选用 AMD 的 EPYC 处理器。正如近日独立研究机构 SemiAnalysis 所指出的,AMD 的数据中心业务部门现在的销量已经超过了英特尔的数据中心和 AI 业务。

图片

上周四,各家美国科技公司陆续发布三季度财报,AMD 报告其数据中心收入增长 122%,游戏收入下降 69%。公司 2024 年第三季度营业额为 68 亿美元,同比增长 18%。其中,AMD 的数据中心部门收入在第三季度达到 35.49 亿美元,这显示出 AMD 在半导体市场的竞争力不断提升,能够持续扩大业务规模并获得更多的市场份额。

而英特尔在第三季度的产品总收入为 122 亿美元,同比减少 2%,其中至强处理器、Gaudi 加速器为主的数据中心和 AI 集团的收益在 本季度为 33 亿美元,同比增长 9%。就在两年前,英特尔的 DCAI 集团每季度的收入为 50 亿至 60 亿美元。

在新一代产品中,AMD 的 EPYC 处理器相对于英特尔的 Xeon CPU 取得了竞争优势,英特尔不得不以大幅折扣出售其服务器芯片,这降低了该公司的收入和利润率。

今年 9 月,英特尔推出了新一代旗舰产品 128 核的 Xeon 6980P「Granite Rapids」处理器,售价高达 17800 美元,是该公司有史以来最昂贵的标准 CPU(也是最贵的 X86 CPU)。

图片

                             Xeon 6980P 拥有 128 个高性能内核和 256 个线程,时钟速度为 2.0 GHz,L3 缓存为 504MB。

相比之下,AMD 最昂贵的 96 核 EPYC 6979P 处理器售价为 11805 美元。

从历史上看,英特尔的处理器定价并没有像 AMD 的多线程版本那样高。这一转变可能表明英特尔采取了新的定价策略,力图将自己定位为高端选择,但这也可能是制造新一代 CPU 生产流程的高成本所致。

外媒 tomsHardware 认为,如果市场对英特尔 Xeon 6900 系列处理器的需求仍然很高,并且该公司能够大量供应这些 CPU,那么英特尔的数据中心收入可能会重回正轨,并超过 AMD 的数据中心销售额。然而,英特尔仍然需要提高其 Granite Rapids 产品的产量。

最后,英特尔和 AMD 的竞争之上,还有一个英伟达。

虽然英特尔和 AMD 现在每季度通过销售数据中心 CPU 赚取约 30-35 亿美元,但英伟达从其数据中心 GPU 和网络芯片中赚取的收入比这两家要高得多,英伟达提供的芯片是使 AI 处理器(GPU)在数据中心协同工作所必需的。

事实上,在 2025 财年第二季度,英伟达网络产品的销售额总计 36.68 亿美元,这还是在英伟达在 InfiniBand 网络市场逐渐减速的情况下实现的。

与此同时,英伟达计算 GPU 的销售额在 2025 财年第二季度达到了 226.04 亿美元,远远超过英特尔和 AMD 数据中心硬件的总销售额。总体而言,英伟达在今年上半年销售了价值近 420 亿美元的 AI 和 HPC GPU,下半年的销售额很可能会更高。

参考内容:
https://www.tomshardware.com/pc-components/cpus/for-the-first-time-ever-amd-outsells-intel-in-the-datacenter-space
https://x.com/SKundojjala/status/1853041284157682063



感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB