24Q1财报会议上，百度集团透露了公司AI业务的最新进展。

百度，一家在PC时代崭露头角的科技巨头，面临了在移动互联网时代的挑战和竞争，似乎未能完全抓住时代的机遇，相比于其他科技公司在这一阶段的快速发展，百度显得有些落后。

随着时间进入人工智能（AI）时代，百度希望能够借此机会弥补过去在移动互联网时代的失地，重新确立自己在技术领域的领导地位。

在刚刚结束的百度最新财报会上，公司透露了AI业务的最新进展：

• AI云服务营收同比增长12%；
• 百度搜索11%内容由AI生成；
• 大模型API调用量激增：近五个月，从5000万增长至2亿；
• AI模型性能大幅优化：训练效率提高到 5.1 倍，推理成本降低到百分之一；

百度董事长兼首席执行官李彦宏在电话会中表示，公司正在从以互联网为中心转向人工智能优先，推进用文心大模型重构To C和To B业务。目前，文心大模型日均处理Tokens文本约2500亿，日均调用量2亿次。

李彦宏特别强调：搜索最有可能成为AI时代的“杀手级”应用（killer app），而百度搜索的AI重构工作仍处于早期阶段。

此外，百度CFO罗戎称，在未来几个季度，百度将继续支持AI业务高质量增长。公司认为，随着中国生成式 AI 的新时代展开，将为百度带来更多机遇。

01

“All in AI”——百度的新机遇？

为了实现李彦宏“以互联网为中心转向人工智能优先”这一目标，百度正大力投资于AI技术的研发和应用，特别是在自动驾驶、深度学习、自然语言处理等领域。

百度正试图抢回在移动互联网时代失去的阵地。

• PC时代，凭借着独特的搜索引擎技术，百度成为了国内的搜索龙头；
• 移动互联网时代，用户流量从PC端转移到移动端，公司虽多方位布局，但相较于腾讯/阿里仍显逊色；
• 在推荐算法时代，又大幅落后于字节信息去中心化模式；
• 迈入AI时代，百度基于其在AI领域拥有的深厚积累，希望能够在此浪潮中突围；
• AI效果在财报中已逐渐突出，今年一季度智能云业务的收入达到47亿元，同比增长12%，来自生成式人工智能和基础模型的收入占智能云业务收入的6.9%。

02

AI云服务，从芯片到平台

2016年，百度CEO李彦宏提出“AI+云+大数据”的云服务战略。

此后，百度智能云构建了“芯片—框架—模型—MaaS平台”的全栈式AI基础设施，这一基础设施支持从数据存储到模型训练、部署、运行的全链路AI服务。

值得一提的是，百度飞桨平台已经兼容了50多种不同芯片，许多是本土设计的，开发者社区已经增长至1300万。

这种AI基础设施布局模式，也让百度在受制外部环境情况下，更好的匹配国内AI云需求。…

03

“AI+”业务赋能

AI技术在百度内部广泛应用于搜索引擎、信息流推荐、百度翻译等多个领域。

在电话会中，李彦宏对未来AI赋能搜索支柱业务信心更足，认为搜索是AI时代最可能成为杀手级应用的产品：“AI搜索能使用户能够做到以前做不到的事，并且百度暂时还没打算对这部分收费。”

去年第二季度开始，百度就已经使用文心一言重建百度搜索，现在越来越多的搜索结果是文心一言以不同格式如文本、图像、第三方链接等组合而成的。

在模型构建上，百度使用了3种轻质模型和2种针对特定任务的模型，并且搭配专家混合模型，用来给大模型分配任务，在性能和成本上找到了更好的平衡。

从数据上看，AI确实正在提升百度各个业务的效率：…

04

终端厂商合作AI手机/AI PC

AI除了对内提升效率，本季度百度也进一步扩大了对外合作。

根据公司披露，上季度，公司已与三星中国、荣耀等手机厂商达成合作。本季度，合作扩展到更多领先智能手机厂商，包括Oppo、VIVO和小米。

业务范围也从智能手机扩展到PC和电动汽车领域，进一步扩大了百度的AI生态圈。联想正利用Ernie API为其默认浏览器中的AI助手提供支持，蔚来汽车开始使用Ernie API增强车内体验。

此外，公司吸引了许多新客户，包括携程、高途、招聘、作业帮和新加坡旅游局，通过AI技术，帮助他们重构所有面向消费者的产品，以提供更好的用户体验。

05

对外投资

除了自主研发，百度也通过对外投资来不断扩展自家的AI生态，覆盖了芯片-模型-模型应用三大环节。但很明显，与阿里不同，百度的对外投资更偏向于上下两端。

这个原因也不难理解，因为百度未来将依靠搜索这类应用端支撑收入，完成商业模式闭环的。

最有代表性的一个证明来自李彦宏对大模型开源还是闭源的判断：“大模型开源意义不大，闭源才能走通商业模式，是能够赚到钱的，能够赚到钱才能聚集算力、聚集人才。”

“闭源在成本上反而是有优势的，只要是同等能力，闭源模型的推理成本一定是更低的，响应速度一定更快”，这也是与阿里云不同的商业模式的思考。

所以，按照百度的思路，未来的路已经比较清晰，但AI时代的竞争显然会比PC时代更加激烈。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：51CTO技术栈
编译丨诺亚

在又一轮技术革命来袭之际，不少企业正面临着一个战略性的抉择：是继续依赖公共云的便利，还是回归私有云的怀抱？随着AI技术的飞速发展，这一决策变得更加紧迫。

根据Forrester于2023年进行的基础架构云调查，大约1300名受访的企业云决策者中，有79%表示他们的组织正在实施私有云。

此外，IDC预测，包括托管私有云在内的全球专用私有云服务支出将在2024年达到204亿美元，并且至少到2027年会翻一番。

另外，IDC数据显示，到2024年，包括硬件、软件和支持服务在内的全球企业私有云基础设施支出将达到518亿美元，并在2027年增长至664亿美元。当然，公有云提供商仍是不可小觑的存在。包括三大巨头AWS、微软和谷歌在内的公有云预计在2024年将吸金8157亿美元。

我们相信，这不仅是一次技术的回归，更是对成本控制、数据安全和企业自主权的深刻反思。让我们一起探索，这股私有云复兴的潮流背后，究竟隐藏着哪些不为人知的真相。

AI的推动作用

不可否认的是，AI驱动了私有云的重新兴起，使其价值远超过简单购买硬件并放置在数据中心的行为。事实上，此前由于公有云提供商提供的功能远远超过开源私有云系统或当前企业硬件供应商所能提供的，私有云的受欢迎程度有所下降。

随着AI工作负载变得越来越普遍和复杂，许多组织正在重新评估其云策略。如今，企业架构师之间的共识正倾向于采用混合云架构。

推动这一趋势的一个主要因素是控制与云和AI技术相关的不断攀升成本的需求日益增加。公有云提供商证明比本地部署更为昂贵，而这一点最终被CIO们意识到，他们发现CFO上门询问，对超出原计划约2.5倍的云资源成本寻求解释。

这一转变的关键在于诸如Dell APEX和HPE GreenLake（现配备有生成式AI支持）等私有云平台。实际上，大多数本地系统只需声明即可进入私有云市场。这种“私有云漂白”现象在云计算的早期阶段占据了很大一部分，但随着市场的成熟已大体消失。不过，它可能会再次出现。

错位的安全感

这些平台提供了处理AI工作负载所需的计算能力，甚至是GPU，以及必要的灵活性。它们也严格控制数据隐私和安全，尽管这种安全性往往是感觉多于实际。在很多情况下，公有云提供商因为在其自身解决方案上投入更多，反而能提供更高级别的安全性。

AI的兴起加剧了对数据安全的担忧，特别是关于企业私有数据可能意外被纳入公共AI模型的风险。再次强调，这种担忧更多源自感知而非现实，但我经常听到这样的顾虑，因此值得探讨。我无法设想一个场景，公有云提供商不仅会意外访问到企业数据，还会利用这些数据训练他们的AI模型。这将是一场史诗级的丑闻。尽管如此，许多企业发现私有云是一个吸引人的选择，因为它允许他们在受控环境中保留所谓的“敏感数据”。

挑战浮现

尽管有其优势，私有云并非没有挑战。例如，大规模AI操作需要专门的硬件，如使用GPU驱动的服务器。这可能成本高昂，并且需要大量的电力和冷却系统，而企业尚未完全理解这将带来的新成本。在许多情况下，这比在公有云提供商上运行这些AI负载要复杂得多。

然而，解决方案正在涌现，比如在Equinix等公司提供的共置数据中心内部构建私有云。这些数据中心特别配备了处理这些基础设施需求的能力，我认为它们是比自己动手搭建更好的选择。毕竟，我们总有一天需要退出数据中心业务，将其留给公有云提供商、共置服务提供商和管理服务提供商来提供更佳的解决方案。

那么，私有云对企业来说是个好选择吗？当然，它们一直是架构师考虑的选项之一。它们有其用途，如果成本效益更高，或者能为企业带来更多价值，就应当使用它们——无论是否有AI的参与。

我猜测，随着AI技术和应用的持续发展，云战略的转变预计将反映出对某些私有云替代方案日益增长的偏好。这一趋势预示着私有云解决方案有着光明的未来。多亏了AI，我怀疑那些看到其私有云产品兴趣减弱的企业技术供应商现在又有了新的活力。

参考链接：https://www.infoworld.com/article/3715483/is-generative-ai-bringing-back-private-clouds.html

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：极客公园

作者 | 宛辰
编辑 | 靖宇

是因为「劳动节」吗？全世界所有的公司，都选择在 5 月第三周，将最新的 AI 产品和技术，集中释放。
丧心病狂的一周！
铺垫了许久的「周一见」，OpenAI 用 GPT-4o 夺走了注意力。

24 小时后的发布会上，谷歌也没有「掉链子」，Veo 视频模型、Project Astra、新版 AI 搜索都留下了惊艳的记忆点。
地表最强但风格迥异的两场发布会，只在一点上达成共识——电影《Her》一般的超强语音助手（GPT-4o 和 Project Astra），这也变相公布了 2024 年大模型赛道的竞赛点——GPT-4o 和 Astra 背后的多模态融合技术。
大洋彼岸的另一端，姗姗来迟的字节跳动发布了豆包大模型家族，腾讯终于交出了「GPTs」和大模型助手 App 的答卷。
今天看来，无论是「拖家带口」的大厂，还是「没有包袱」的创业公司，产品形态都一再扩展：从聊天机器人，到 AI 搜索、「GPTs」、多模态语音助手…. 玩得越来越花。
不知道你麻没麻，反正我们是幸福地麻了。

5 月 13 日（周一）
AI 化身/人形智能体正在快速演进：宇树发布 Unitree G1 人形机器人
¥9.9 万元起，远低于行业售价
大语言模型出圈，让可以实现具身智能的人形机器人火了。
2023 年 8 月，宇树科技发布了人形机器人 H1，预售价为 9 万美元（约合 65 万元人民币）。本周，宇树推出的新版人形机器人 Unitree G1 将价格降到 9.9 万元人民币起，便宜了超 80%。
与第一代产品相比，Unitree G1 能力显著提升：开瓶盖、砸核桃、颠锅、跑步、舞棍、自我蜷缩……在宇树科技发布的产品演示视频里，身体和双腿能旋转近 360°，Unitree G1 像人类一样用机械双臂灵活地完成一系列工作。

开源闭源并进：零一万物发布千亿参数 Yi-Large 模型
开源构建生态，闭源探索AI上限
零一万物成立一周年之际，其千亿参数 Yi-Large 闭源模型正式亮相，在斯坦福最新的 AlpacaEval 2.0 达到全球大模型 Win Rate 第一。
同时，零一万物将早先发布的 Yi-34B、Yi-9B/6B 中小尺寸开源模型版本升级为 Yi-1.5 系列，每个版本达到同尺寸中 SOTA 性能最佳。

5 月 14 日（周二）
「Her」真的来了：「GPT-4o」将语音助手带到了新高度
多模态融合模型，只是工程的进步吗？
OpenAI 发布了新一代旗舰模型 GPT-4o，它可以让人们在手机上与 ChatGPT 对话，就像他们与 Siri 和其他语音助手对话一样。不同的是，ChatGPT 语音助手的理解能力有了质的飞跃，还可以分析和讨论…

5 月 15 日（周三）
没有一款产品没有被 AI 改造：谷歌全面进入 Gemini 时代
Sora 尚且是科技巨头的选做题，但多模态融合就是大模型公司的必做题。
提了 121 次 AI，谷歌 I/O 2024 开发者大会发布了一箩筐，从搜索到 Gmail、TPU，再到语音助手 Astra 和多模态视频模型 Veo 等。
三个产品值得关注：

• Project Astra 的多模态 AI 助手。如果说 2023 年的竞赛点是 Copilot，2024 年，赛点则进化为多模态融合的 Agent，背后是从 LLM（大语言模型）到 One-network-multimodality（一个框架下的多模态大模型）的技术路径迁移，最终迈向跟通用的人工智能。

• Veo：Veo 可以根据文本、图像和视频提示创建 AI 生成的视频，并且即将登陆 YouTube，帮助创作者快速制作更专业品质的视频.
• …

… (部分内容略)

下周，北京时间 5 月 22 日凌晨，AI 的另一大玩家微软，即将在西雅图举办 Hybrid：Microsoft Build 大会。官方网页上大大的「How will AI shape your future?」，强调了本次大会的主题。
金钱永不眠，AI 也是。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：机器之心

今年年初，英伟达 CEO 黄仁勋因为劝人「别再学习计算机」被送上热搜。但其实，他的原话是「过去，几乎每个人都会告诉你，学习计算机至关重要，每个人都应该学会编程。

但事实恰恰相反，我们的工作是创造计算技术，让大家都不需要编程，编程语言就是人类语言。」

编程，是为了不再编程，这一愿景由来已久，而且在大模型出现之后逐渐成为可能。但在现阶段，直接把一个大模型丢给某个人或某个企业去用效果仍然不好。比如，你不能指望一个不会写 Prompt 的人利用大模型去构建一整个网站，也不能指望一个没有配置 AI 人才的公司把某个大模型变成公司「智囊」。

也就是说，现在的大模型离「开箱即用」还有一段距离。

不过，在 5 月 17 日的腾讯云生成式 AI 产业应用峰会上，我们看到了可以缩小这一距离的产品，比如能调用腾讯官方插件和知识库的一站式 AI 智能体创作与分发开放平台 —— 腾讯元器，能帮助一线业务人员用好大模型解决实际业务难题的腾讯云大模型知识引擎、腾讯云大模型图像创作引擎、腾讯云大模型视频创作引擎等。

为这些产品提供支撑的腾讯混元大模型能力也在持续升级，部分中文能力已追平 GPT-4，支持 16 秒视频生成。目前，腾讯混元 hunyuan-pro、hunyuan-standard、hunyuan-lite 等多种尺寸模型，已通过腾讯云，面向企业、开发者全量开放。其中 hunyuan-standard 支持 256K 上下文，长文档理解和处理能力更强了。

在这次全新发布中，知识引擎是一款比较有代表性的 PaaS 类产品，可以让企业 5 分钟就开发出一款客服营销、企业知识社区类知识服务应用。这类大模型平台的出现打破了人人都需要掌握大模型复杂用法的局面，让大模型离产业更近了。

利用知识引擎，企业用户只需要输入模型选择、角色设定、知识库管理等基本信息，5 分钟就可以搭建出一款知识应用。

量产「销冠」、5 分钟创建智能助手

知识引擎是怎么做到的？

如果你在视频号上关注过一个叫「李蠕蠕」的博主，那你一定看过她的「销冠」系列。在视频中，她扮演的销冠角色会展示不同的销售策略，比如如何通过判断顾客的心理和需求来推销产品、如何应对还价、如何判断顾客的购买力等。批量复制这类「销冠」是每一个公司的梦想。

腾讯云知识引擎有助于实现这个梦想。它利用「LLM+RAG」的技术路线，可以帮企业轻松搭建融合了自己私有领域知识库的问答助手。如此一来，每个员工都能够以问答的形式迅速获取公司知识，学习「老员工」经验，快速提升业务能力。

某公司利用腾讯云知识引擎构建了一个「保险经纪人销售助理」，通过生成保险产品知识和安抚话术来辅助保险经纪人。其问答准确率由传统机器人的 57% 提升至 85%，保险经纪人人均提效 50%。

而这个过程之所以这么轻松，是因为腾讯云知识引擎封装了一些好用的模型和工具。

腾讯云大模型知识引擎聚焦全技术链路提升，当用户提问时，知识引擎会先通过 RAG（检索增强生成），从一个庞大的文档集合（企业知识库）中检索出相关的文档片段，然后把这些信息按照一定的规则重新排列，转换成 prompt 输给大模型（LLM）。大模型会基于这些内容生成回答。这种方式相当于带着「课本」去考试，可以大幅度降低幻觉，回答内容更安全可靠。

整合 OCR 大模型，文档识别准确率提升 30%

在利用知识引擎构建应用后，企业首先需要导入自己的知识库，以供检索。在这一环节，文档排版的复杂性决定了，解析这些知识不是一件容易的事，要克服图文混排处理、结构化表格识别、公式识别、流程图识别、阅读顺序保持等诸多问题。

针对这些问题，腾讯云知识引擎集成了 OCR 解析大模型，通过三个步骤来解析文档：

• 第一步是版面分析，即利用自研的版面分析算法定位图像中所有版面元素（包括段落、表格、图片、标题等）的位置、顺序和类型；
• 第二步是通过文本识别、表格识别等精准匹配的垂类识别算法来识别、提取不同元素的内容；
• 第三步则是将识别结果按照人的阅读顺序整合成 Markdown 格式文件进行输出，保证信息的连贯性和易读性。

其中，表格、公式的情况较为复杂，比如有些表格可能没有框线。针对这类问题，OCR 大模型通过融合行列关系特征和元素特征来预测表格的行列间隔线。这样一来，即使表格没有明显的框线，也能通过算法推理出结构。此外，这个 OCR 大模型还能识别跨页合并表格、多行表等，对科研论文场景的复杂公式解析效果也比较好，是国内少数能够与海外顶尖模型（如 Google 的 MP 模型）相媲美的模型之一。

整体来看， OCR 解析大模型将文档识别的准确率提升了 30%。这种对文档结构的深入理解对于处理更复杂的任务至关重要，比如信息的归纳、总结、对比分析和数值计算等。

提出业内首个语义切分大模型，回答完整性提升 20%

让 OCR 解析大模型把知识解析出来，就能进行检索了吗？不，中间还有一个重要的步骤 —— 知识切分。

知识切分的难点在于如何准确地识别出某些信息属于一个信息块，并将其完整地切出来，比如跨页的流程图、表格。传统的切分方法是按照规则去切分，但不同的内容往往需要不同的切分方式，这使得切分规则变得异常复杂，不易维护。

为了解决这一问题，腾讯云推出了业内首个基于语义判断的知识切分大模型。和传统切分方法不同，它不需要你告诉它如何切分，而是自己去理解整篇文章的一级、二级、三级段落是怎样的分布，实现端到端的切分。这得益于模型在预训练过程中获得的语义理解、长上下文关联能力。此外，巧妙设置 prompt、构造微调数据也起到了很大作用，使大模型能够适应长文本切分需求并有较快的推理速度。

通过准确的知识切分，大模型可以更有效地支持检索，让检索系统可以基于更合理、语义更完整的文本块进行搜索，从而提高检索的准确性和效率。在这个模型的帮助下，知识引擎的回答完整性提升了 20%。

自研长文本 Embedding 模型，上万行超大表格也能检索

在文档被充分解析、恰当切分后，检索过程就能更加顺利地进行了。不过，如何从海量的多模态数据中检索到最相关的信息依然是一大挑战。

腾讯云知识引擎从两个方向入手来优化检索效果。首先，通过自研的长文档 Embedding 模型，它把检索最大长度从 512 提升到 4K，以支持更复杂的长文本检索任务。在国际知名的 C-MTEB 榜单上，该模型在 8 个中文任务上可以达到效果最优。

其次，它支持向量关键词检索、表格文字混合检索等多种检索策略，这使其检索能力不仅限于传统的文本检索，还支持大型复杂表格等复杂检索需求。甚至，对于上万行、上百列的超大表格，知识引擎也能从容应对。

这些检索到的信息是大模型回答用户问题的重要依据，有助于提高生成文本的质量和可靠性。

整合多模态、多行业大模型，应对多样提问

在检索过程完成后，大模型会得到一个包含答案线索的 Prompt，用于回答用户提问。

这些问题有时会很专业，涉及到行业术语和规范。比如一个「教案助手」必须知道教案需要包含哪些内容，以何种形式编写。为此，腾讯云在通用大模型的基础上，深入了上百个用户场景，融入了大量的垂直领域知识，训练、调优了多个行业大模型，以降低特定行业的落地成本。

河南省数字教育发展有限公司基于腾讯知识引擎打造的智慧教育平台，面向河南省上万所中小学打造教师助理及学生助手，百科 + 教学辅助场景评测端到端知识准确率高于 90%。

此外，用户的提问可能会非常多元，不仅有文字，还会附上图片、文档、表格甚至非常复杂的流程图。为了解决这些问题，腾讯云知识引擎集成了多模态大模型的能力，支持数据表、数据图、操作图等图文交错的多轮问答，能够满足各种真实场景的需求。

当然，在问答过程中，知识引擎也会遇到一些解决不了的问题（bad case）。但好在，它的背后还有一个强大的底座 —— 腾讯云 TI 平台。TI 平台上有一整套数据处理、模型精调工具，可以将 bad case 转化为有价值的训练数据，还有 100 多种任务类型的精调配比数据可供选择，帮助进一步提升模型性能。这是很多知识引擎类应用所不具备的优势。

多个开箱即用平台齐发

瞄准「产业实用」

除了知识引擎，腾讯云这次还发布了其他几个开箱即用的平台，包括腾讯元器、图像创作引擎、视频创作引擎等。

其中，腾讯元器是一个智能体创作和分发平台，主打「低门槛」。通过提示词、插件、工作流、AI 辅助创建等能力，每个人都可以在几分钟内通过打字、点选等简单操作构建自己的专属智能体。

而且，元器平台上预集成了腾讯生态特色插件、知识库资源，还将开放第三方能力，丰富智能体的功能。

创建完成后，你可以将这些智能体发布到 QQ、微信或 APP 上，优质智能体有机会获得流量扶持。

图像创作引擎支持图像风格化、AI 写真、线稿生图等能力，可以大幅缩短素材创作和生产周期。

视频创作引擎支持视频风格化、运动笔刷、画布拓展等视频 AI 创作能力，还能一键转译视频语言，帮助企业投放海外市场。

这些引擎和知识引擎共同组成了大模型时代原生工具链，体现了腾讯云「产业实用」的大模型核心战略。

这一战略可以被解读为：如何让用户以最低的成本或门槛、最小的必要输入来获得最

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

据国外媒体报道，苹果公司的管理团队始终是个紧密、团结的集体，十多年来几乎未曾有过大的变动。这个团队在苹果内部被地称为“ET”，成员们年龄相仿，与现年63岁的CEO蒂姆·库克（Tim Cook）也仅有几岁之差。

然而，这种高度的稳定性也预示着苹果即将面临更广泛的继任挑战——不仅仅是寻找库克的接班人，更是要准备在未来某一时刻，为可能同时卸任的高管团队寻找合适的继任者。

从左到右分别为蒂姆·库克、艾迪·库伊、菲尔·席勒和克雷格·费德里吉

不久前，长期跟踪苹果公司的资深分析师马克·古尔曼（Mark Gurman）撰文预测，苹果硬件工程主管约翰·特努斯（John Ternus）已成为库克的可能接班人选。他不仅在苹果内部受到关注，更逐渐成为公众视野中的焦点人物。在上周发布新iPad后，本月18日他还会到宾夕法尼亚大学工程学院发表毕业典礼演讲。值得一提的是，特努斯还不到50岁，他的职业生涯还有很长的路要走。

然而，苹果的成功并非仅依赖于一位CEO。在工程、营销、服务、财务等各个职能领域，那些高管们同样扮演着举足轻重的角色。接下来，让我们“检阅”一下在苹果公司可堪大任的高管候选人新势力：

运营部门

在苹果的管理结构中，运营部门可能孕育着最有潜力的接班人。自2015年以来，杰夫·威廉姆斯…

财务部门

卢卡·马埃斯特里（Luca Maestri）自2014年接替彼得·奥本海默（Peter Oppenheimer）以来…

法律总顾问

凯特·亚当斯（Kate Adams）于2017年加入苹果，如今已成为该公司历史上任职时间最长的法律总顾问之一…

软件工程

克雷格·费德里吉（Craig Federighi）自2012年以来便开始担任苹果软件业务主管…

硬件工程

若特努斯真的接替库克成为CEO，那么硬件工程团队将迎来一位新领导…

硬件技术

约翰尼·斯鲁吉（Johny Srouji）以他权威的管理方式领导着硬件技术团队…

市场营销

格雷格·乔斯维亚克（Greg Joswiak）自2020年起便接替菲尔·席勒（Phil Schiller）…

人工智能

约翰·詹南德里亚（John Giannandrea）自2018年加入苹果以来，就以他独特的管理方式领导着人工智能团队…

零售业务

迪尔德丽·奥布莱恩（Deirdre O’Brien）自2019年起便负责苹果的零售业务…

服务业务

艾迪·库伊（Eddy Cue）在苹果执掌着一个庞大的业务版图，他负责管理包括TV+流媒体平台、音乐、地图、Apple Card等一系列应用…

环境、政策与社会倡议

在环境、政策与社会倡议领域，丽莎·杰克逊（Lisa Jackson）已经担任这一职位超过十年…

Source: 腾讯科技

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

是因为「劳动节」吗？全世界所有的公司，都选择在 5 月第三周，将最新的 AI 产品和技术，集中释放。
丧心病狂的一周！
铺垫了许久的「周一见」，OpenAI 用 GPT-4o 夺走了注意力。

24 小时后的发布会上，谷歌也没有「掉链子」，Veo 视频模型、Project Astra、新版 AI 搜索都留下了惊艳的记忆点。
地表最强但风格迥异的两场发布会，只在一点上达成共识——电影《Her》一般的超强语音助手（GPT-4o 和 Project Astra），这也变相公布了 2024 年大模型赛道的竞赛点——GPT-4o 和 Astra 背后的多模态融合技术。
大洋彼岸的另一端，姗姗来迟的字节跳动发布了豆包大模型家族，腾讯终于交出了「GPTs」和大模型助手 App 的答卷。
今天看来，无论是「拖家带口」的大厂，还是「没有包袱」的创业公司，产品形态都一再扩展：从聊天机器人，到 AI 搜索、「GPTs」、多模态语音助手…. 玩得越来越花。
不知道你麻没麻，反正我们是幸福地麻了。

5 月 13 日（周一）
AI 化身/人形智能体正在快速演进：宇树发布 Unitree G1 人形机器人
¥9.9 万元起，远低于行业售价
大语言模型出圈，让可以实现具身智能的人形机器人火了。
2023 年 8 月，宇树科技发布了人形机器人 H1，预售价为 9 万美元（约合 65 万元人民币）。本周，宇树推出的新版人形机器人 Unitree G1 将价格降到 9.9 万元人民币起，便宜了超 80%。
与第一代产品相比，Unitree G1 能力显著提升：开瓶盖、砸核桃、颠锅、跑步、舞棍、自我蜷缩……在宇树科技发布的产品演示视频里，身体和双腿能旋转近 360°，Unitree G1 像人类一样用机械双臂灵活地完成一系列工作。

开源闭源并进：零一万物发布千亿参数 Yi-Large 模型
开源构建生态，闭源探索AI上限
零一万物成立一周年之际，其千亿参数 Yi-Large 闭源模型正式亮相，在斯坦福最新的 AlpacaEval 2.0 达到全球大模型 Win Rate 第一。
同时，零一万物将早先发布的 Yi-34B、Yi-9B/6B 中小尺寸开源模型版本升级为 Yi-1.5 系列，每个版本达到同尺寸中 SOTA 性能最佳。

5 月 14 日（周二）
「Her」真的来了：「GPT-4o」将语音助手带到了新高度
多模态融合模型，只是工程的进步吗？
OpenAI 发布了新一代旗舰模型 GPT-4o，它可以让人们在手机上与 ChatGPT 对话，就像他们与 Siri 和其他语音助手对话一样。不同的是，ChatGPT 语音助手的理解能力有了质的飞跃，还可以分析和讨论它所看到的图像或视频，并能识别用户说话时的不同情绪。
有了 GPT-4o 的加持，ChatGPT 可以根据你的想法引导你做数学题目、按照你的实时要求讲一个睡前故事。OpenAI 称 GPT-4o 是为了创建一个对音频、图像和文本有更深入、更自然理解的模型，这依旧是为了向 AGI 目标行进。
OpenAI 的发布，也在 AI 圈引起了广泛讨论。业界普遍认为，GPT-4o 的惊艳之处在于两点：1）将语音交互延迟缩短到 300ms；2）端到端多模态原生大模型
P.S.: 留一个观察作业：GPT-4o 会显著提升 ChatGPT 的日活和用户粘性吗？有了更高 AI 能力的智能助手，2016 年的百箱大战会席卷重…

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

最多可支持 10000+ 个并发线程。

经过近 10 年的不懈努力，对计算机科学核心的深入研究，人们终于实现了一个梦想：在 GPU 上运行高级语言。

上周末，一种名为 Bend 的编程语言在开源社区引发了热烈的讨论，GitHub 的 Star 量已经超过了 8500。

GitHub：https://github.com/HigherOrderCO/Bend

作为一种大规模并行的高级编程语言，它仍处于研究阶段，但提出的思路已经让人们感到非常惊讶。使用 Bend，你可以为多核 CPU/GPU 编写并行代码，而无需成为具有 10 年经验的 C/CUDA 专家，感觉就像 Python 一样！

是的，Bend 采用了 Python 语法。

与 CUDA、Metal 等低级替代方案不同，Bend 具有 Python、Haskell 等表达性语言的功能，包括快速对象分配、完全闭包支持的高阶函数、无限制的递归，甚至 continuation。Bend 运行在大规模并行硬件上，具有基于核心数量的近线性加速。Bend 由 HVM2 运行时提供支持。

该项目的主要贡献者 Victor Taelin 来自巴西，他在 X 平台上分享了 Bend 的主要特性和开发思路。

首先，Bend 不适用于现代机器学习算法，因为这些算法是高度正则化的（矩阵乘法），具有预先分配的内存，并且通常已经有编写好的 CUDA 内核。

Bend 的巨大优势体现在实际应用中，这是因为「真正的应用程序」通常没有预算来制作专用的 GPU 内核。试问，谁在 CUDA 中制作了网站？而且，即使有人这样做了，也是不可行的，因为：

1. 真正的应用程序需要从许多不同的库导入函数，无法为它们编写 CUDA 内核；
2. 真实的应用程序具有动态函数和闭包；
3. 真实的应用程序会动态且不可预测地分配大量内存。

Bend 完成了一些新的尝试，并且在某些情况下可以相当快，但现在想写大语言模型肯定是不行的。

作者对比了一下旧方法和新的方法，使用相同的算法树中的双调排序，涉及 JSON 分配和操作。Node.js 的速度是 3.5 秒（Apple M3 Max），Bend 的速度是 0.5 秒（NVIDIA RTX 4090）。

是的，目前 Bend 需要整块 GPU 才能在一个核心上击败 Node.js。但另一方面，这还是一个初生的新方法与大公司（Google）优化了 16 年的 JIT 编译器在进行比较。未来还有很多可能性。

如何使用

在 GitHub 上，作者简要介绍了 Bend 的使用流程。

首先，安装 Rust。如果你想使用 C 运行时，请安装 C 编译器（例如 GCC 或 Clang）；如果要使用 CUDA 运行时，请安装 CUDA 工具包（CUDA 和 nvcc）版本 12.x。Bend 目前仅支持 Nvidia GPU。

然后，安装 HVM2 和 Bend：

1
2

cargo +nightly install hvm
cargo +nightly install bend-lang

最后，编写一些 Bend 文件，并使用以下命令之一运行它：

1
2
3

bend run    <file.bend> # uses the Rust interpreter (sequential)
bend run-c  <file.bend> # uses the C interpreter (parallel)
bend run-cu <file.bend> # uses the CUDA interpreter (massively parallel)

你还可以使用 gen-c 和 gen-cu 将 Bend 编译为独立的 C/CUDA 文件，以获得最佳性能。但 gen-c、gen-cu 仍处于起步阶段，远没有像 GCC 和 GHC 这样的 SOTA 编译器那么成熟。

Bend 中的并行编程

这里举例说明可以在 Bend 中并行运行的程序。例如，表达式：

1

(((1 + 2) + 3) + 4)

不能并行运行，因为 + 4 取决于 + 3，而 + 3 又取决于 (1+2)。而表达式：

1

((1 + 2) + (3 + 4))

可以并行运行，因为 (1+2) 和 (3+4) 是独立的。Bend 并行运行的条件就是符合并行逻辑。

再来看一个更完整的代码示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# Sorting Network = just rotate trees!
def sort (d, s, tree):
  switch d:
    case 0:
      return tree
case _:
      (x,y) = tree
lft   = sort (d-1, 0, x)
      rgt   = sort (d-1, 1, y)
      return rots (d, s, lft, rgt)
# Rotates sub-trees (Blue/Green Box)
def rots (d, s, tree):
  switch d:
    case 0:
      return tree
case _:
      (x,y) = tree
return down (d, s, warp (d-1, s, x, y))

(...)

该文件实现了具有不可变树旋转的双调排序器。它不是很多人期望的在 GPU 上快速运行的算法。然而，由于它使用本质上并行的分治方法，因此 Bend 会以多线程方式运行它。一些速度基准：

• CPU，Apple M3 Max，1 个线程：12.15 秒
• CPU，Apple M3 Max，16 线程：0.96 秒
• GPU，NVIDIA RTX 4090，16k 线程：0.21 秒

不执行任何操作即可实现 57 倍的加速。没有线程产生，没有锁、互斥锁的显式管理。我们只是要求 Bend 在 RTX 上运行我们的程序，就这么简单。

Bend 不限于特定范例，例如张量或矩阵。任何的并发系统，从着色器到类 Erlang 的 actor 模型都可以在 Bend 上进行模拟。例如，要实时渲染图像，我们可以简单地在每个帧上分配一个不可变的树：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# given a shader, returns a square image
def render (depth, shader):
  bend d = 0, i = 0:
    when d < depth:
      color = (fork (d+1, i*2+0), fork (d+1, i*2+1))
    else:
      width = depth / 2
color = shader (i % width, i /width)
  return color
# given a position, returns a color
# for this demo, it just busy loops
def demo_shader (x, y):
  bend i = 0:
    when i < 5000:
      color = fork (i + 1)
    else:
      color = 0x000001
return color
# renders a 256x256 image using demo_shader
def main:
  return render (16, demo_shader)

它确实会起作用，即使涉及的算法在 Bend 上也能很好地并行。长距离通信通过全局 beta 缩减（根据交互演算）执行，并通过 HVM2 的原子链接器正确有效地同步。

最后，作者表示 Bend 现在仅仅是第一个版本，还没有在合适的编译器上投入太多精力。大家可以预期未来每个版本的原始性能都会大幅提高。而现在，我们已经可以使用解释器，从 Python 高级语言的角度一睹大规模并行编程的样子了。

参考内容:

• https://news.ycombinator.com/item?id=40390287
• https://x.com/VictorTaelin?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Eauthor
• https://x.com/DrJimFan/status/1791514371086250291

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。

移动应用已经成为我们日常生活的一大重要组成部分。

使用移动应用时，我们通常是用眼睛看，用手执行对应操作。如果能将这个感知和交互过程自动化，用户也许能获得更加轻松的使用体验。此外，这还能助益手机辅助功能、多步 UI 导航、应用测试、可用性研究等。

为了在用户界面内实现感知和交互的无缝自动化，就需要一个复杂的系统，其需要具备一系列关键能力。

这样一个系统不仅要能完全理解屏幕内容，还要能关注屏幕内的特定 UI 元素。以视觉理解为基础，它应当有能力进一步将自然语言指令映射到给定 UI 内对应的动作、执行高级推理并提供其交互的屏幕的详细信息。

为了满足这些要求，必须开发出能在 UI 屏幕中确定相关元素位置并加以引述的视觉 - 语言模型。其中，确定相关元素位置这一任务通常被称为 grounding，这里我们将其译为「定基」，取确定参考基准之意；而引述（referring）是指有能力利用屏幕中特定区域的图像信息。

多模态大型语言模型（MLLM）为这一方向的发展带来了新的可能性。近日，苹果公司一个团队提出了 Ferret-UI。

• 论文地址：https://arxiv.org/pdf/2404.05719.pdf
• 论文标题：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

这应当是首个专门针对 UI 屏幕设计的用于精确引述和定基任务的 MLLM，并且该模型能解读开放式的语言指令并据此采取行动。他们的这项工作聚焦于三个方面：改进模型架构、整编数据集、建立评估基准。

实验表明，他们的这种方法效果还挺不错，如图 1 所示：Ferret-UI 能够很好地处理从基础到高级的 11 种任务，从简单的寻找按钮到复杂的描述具体功能。

下面来看具体方法。

方法概览

Ferret-UI 基于 Ferret，而 Ferret 是一个擅长处理自然图像的引述和定基任务的 MLLM，并且其支持多种形状和细节层级。

Ferret 包含一个预训练的视觉编码器（如 CLIP-ViT-L/14）和一个仅解码器语言模型（如 Vicuna）。

此外，Ferret 还采用了一种独特的混合表征技术，可将指定区域转换为适合 LLM 处理的格式。其核心是一个可感知空间的视觉采样器，能够以不同稀疏层级管理区域形状的连续特征。

为了将 UI 专家知识集成到 Ferret 中，苹果团队做了两方面工作：（1）定义和构建 UI 引述和定基任务；（2）调整模型架构以更好地应对屏幕数据。

具体来说，为了训练模型，Ferret-UI 包含多个 UI 引述任务（比如 OCR、图标识别、小部件分类）和定基任务（比如寻找文本 / 图标 / 小组件、小组件列表）；这些任务可帮助模型很好地理解手机 UI 并与之交互。之前的 MLLM 需要外部检测模块或屏幕视图文件，而 Ferret-UI 不一样，它自己就能搞定，可以直接输入原始屏幕像素。这种方法不仅有助于高级的单屏幕交互，而且还可支持新应用，比如提升支持残障人士的辅助功能。

研究 UI 数据集还为该团队带来了另外两个有关建模的见解：（1）手机屏幕的纵横比（见表 1a）与自然图像的不一样，通常更长一些。（2）UI 相关任务涉及很多对象（即图标和文本等 UI 组件），并且这些组件通常比自然图像中的对象小得多。

举个例子，很多问题涉及的图标的面积只占整个屏幕的 0.1%。因此，如果只使用单张重新调整了大小的低分辨率全局图像，可能会丢失很多重要的视觉细节。

为了解决这个问题，该团队引入了 any resolution（任意分辨率 /anyres）这一思想。

具体来说，基于手机的原始纵横比，他们选择了两种网格配置：1x2 和 2x1。给定一张屏幕图像，选取最接近其原始纵横比的网格配置。之后，调整屏幕图像大小，使其匹配所选的网格配置，然后再将其切分为子图像（sub-image）。很明显，纵向屏幕会被水平切分，而横向屏幕会被垂直切分。然后，使用同一个图像编码器分开编码所有子图像。接下来 LLM 就可以使用各种粒度的所有视觉特征了 —— 不管是完整图像还是经过增强的细节特征。

图 2 给出了 Ferret-UI 的整体架构，包括任意分辨率调整部分。

数据集和任务构建

苹果团队构建了一个数据集来训练和评估模型。

收集 UI 数据

UI 屏幕。该团队不仅收集了 iPhone 屏幕，也收集了安卓设备的屏幕。

其中安卓屏幕数据来自 RICO 数据集的一个子集，并根据该团队的分割方案进行了处理。总共有 26,527 张训练图像和 3080 张测试图像。

iPhone 屏幕则来自 AMP 数据集，有不同大小，共 84,685 张训练图像和 9,410 张测试图像。

UI 屏幕元素标注。他们使用一个预训练的基于像素的 UI 检测模型对收集到的屏幕数据进行了细粒度的元素标注。

任务构建

下面将简单描述该团队是如何将 UI 屏幕和相应标注转换成可用于训练 MLLM 的格式。这有三种方法。

方法一：调整 Spotlight 的格式。基于论文《Spotlight: Mobile ui understanding using vision-language models with a focus》，他们取用了 Spotlight 中的三个任务：screen2words、widgetcaptions 和 taperception，并将它们的格式调整为了对话式的一对对问答。具体来说，为了创建 prompt，他们使用了 GPT-3.5 Turbo 来处理他们编写的基础 prompt：

每个训练示例都采样了相应任务的 prompt，并搭配了原始原图像和基本真值答案。

方法二：基础任务。除了 Spotlight 任务，该团队还创建了 7 个新的 UI 任务：用于引述的 OCR、图标识别和小部件分类；用于定基的小部件列表、查找文本、查找图标、查找小部件。他们将引述（referring）任务定义…

方法三：高级任务。为了让新模型具备推理能力，他们跟随 LLaVA 的做法并使用 GPT-4 额外收集了四种其它格式的数据。图 4 展示了高级任务的训练数据生成过程。

这四个任务是：详细描述、对话感知、对话交互和功能推断。

实验结果

该团队进行了实验研究和消融研究，并对结果进行了详细分析。

设置：Ferret-UI-anyres 是指集成了任意分辨率的版本，Ferret-UI-base 是指直接采用 Ferret 架构的版本，Ferret-UI 是指这两种配置。训练使用了 8 台 A100 GPU，Ferret-UI-base 耗时 1 天，Ferret-UI-anyres 耗时约 3 天。

结果

实验比较了 Ferret-UI-base、Ferret-UI-anyres、Ferret 和 GPT-4V 在所有任务上的表现；另外在高级任务上参与比较的模型还有 Fuyu 和 CogAgent。

表 2 总结了实验结果，其中的数据是模型在每个类别中的平均表现。

图 5 和表 3 给出了在具体的基础和高级任务上的表现详情。

消融研究

表 4 给出了消融研究的详情。

从表 4a 可以看到，基础任务能够帮助提升模型解决高级任务的能力。

而表 4b 则表明，加入基础任务数据并不会明显改变模型在三个 Spotlight 任务上的性能。其原因可能是基础任务的响应中使用了简短且高度专业化的 UI 相关术语，这与 Spotlight 任务要求的响应风格不一致。而如果进一步整合高级任务，便能够在 Spotlight 任务上得到最佳结果，即便这些高级任务数据完全来自 iPhone 屏幕。

该团队最后对 Ferret-UI 的结果进行了详细的分析，进一步验证了其在引述和定基任务上的出色表现，详情参阅原论文。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

文章来源：智能涌现

文｜李然 李苗
编辑｜李然

据 The Information 周三援引一位参与谈判人士的消息报道，由于面临现金短缺，Stable Diffusion背后的英国人工智能初创公司Stability AI 最近几周与至少一位潜在买家就出售事宜进行了讨论。

报告称，2024 年第一季度，Stability AI的收入不到500万美元，亏损超过3000万美元，并补充说，该公司目前欠云计算提供商和其他公司近1亿美元的未偿账单。

从Jasper的陨落可以看出，即便是早早了就踩中Gen AI的风口，如果没有过硬的技术或者产品能力，即便短期内积累了大量的客户，也会因为技术的不断更新迭代而失去魔力。

CEO“劫富济贫”，公司管理、资金和法律风险并存

Stability AI的危机来得早有先兆。

在2023年底，很多业内大佬和媒体就预测，Stability AI可能在一年内倒闭或者被收购。

其管理问题早就被摆在台面上。 Stability AI最大股东之一 Coatue Management 在2023年10月份曾点名要求其CEO Emad Mostaque下台，称其混乱的管理导致了顶尖人才的外流。

今年三月底，Mostaque主动辞去了Stability AI公司CEO和董事会职务，转而追求去中心化人工智能。

…

针对开源AI找不到商业模式就没法生存的惨淡现状，同样是Gen AI公司，在文生图领域与之平分秋色的闭源模型Midjourney从成立初期就实现了经济独立。

与Mostaque具有争议的管理风格不同，Midjourney创始人曾被评价为“极有远见”——创始人David Holz预计未来计算资源将越来越稀缺，因此，他从 2021 年就开始“囤积” GPU。

在对“钱”的态度上，Midjourney在早期就展现出了不同于硅谷其他初创公司的风格——不追求巨额融资和高估值，而是相信“现金为王”，于是早早推出了定价不低的订阅服务。事实上，Midjourney至今从未接受过任何VC投资。

报道称，Midjourney创立于2021年8月，仅有11名全职员工，曾在短短一年内实现了1亿美元营收，和估值不同，这1亿是实打实的现金流。截止2023年9月，Midjourney 团队扩充到40人，营收有望达2亿美金。

几位与 Midjourney 关系密切的人透露：虽然 Midjourney 的大部分收入都用于购买昂贵的 AI 芯片，但自该公司成立之初，Midjourney 就一直在盈利。给公司高管的不是股票包，而是利润分红。

在Midjourney灵活的团队和强大的现金营收能力下，Holz 根本不着急。

他在社交平台X上发布的内容展示出：他希望大家心态好、睡得饱，而自己最近最要紧的事情是看科幻小说，以及给网友安利科幻小说。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。

今天，Domo（纳斯达克：DOMO）宣布 IT 解决方案提供商 Zirous 已加入其合作伙伴计划。{ width=60% }

作为认证的全面经销商、推荐和实施合作伙伴，Zirous 将让其客户通过 Domo 平台获得数据可视化和可操作性，从而促进业务发展。

Domo 的云端平台为企业全体员工提供实时数据，帮助他们做出明智的商业决策并产生影响。Domo 基于灵活的人工智能（AI）服务框架，使公司能够利用、扩展、采取行动并自动执行其企业数据操作，同时安全、透明地应用 AI 并具备适当的权限。

Zirous 是一家拥有 35 年 IT 解决方案提供经验的科技公司，通过与业界顶尖技术合作伙伴如 Adobe、Microsoft、Oracle 等合作，专注于营销技术、数据、扩展现实、管理服务、面向服务的架构和身份管理，以及实施这些技术所需的开发和基础设施。该公司旨在通过各种服务如数据分析、数据工程、身份与访问管理等提高客户的效率、生产力和盈利能力。

Zirous 的首席执行官 Mike McDermott 表示：“数据和分析一直是我们向客户提供的核心解决方案，我们已经与许多其他提供提取、转换和加载（ETL）和连接功能的工具合作过。Domo 的能力是一流的，这就是为什么我们与 Domo 合作，帮助我们提供我们庞大客户群所需的解决方案，以充分利用他们的数据。”“在 AI 时代，Domo 为公司提供了集成模型和自定义数据集的选项，使其用户可以简单或复杂地处理数据集，这是一段理想的合作关系。”

Domo 的高级副总裁兼合作伙伴、战略发展和渠道负责人 RJ Tracy 表示：“Domo 为企业的所有部门，从首席执行官到一线员工，带来数据生机，我们在 Zirous 找到了一个优秀的合作伙伴，后者拥有丰富的经验为客户设计成功的技术堆栈。”“Zirous 致力于帮助客户在业务上取得重大成功，而 Domo 将帮助他们实现超凡成果。”

要了解更多关于像 Zirous 这样的创新组织如何与 Domo 合作让数据为所有人服务的信息，请访问 www.domo.com/partners。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。