DataPelago发布世界首个通用数据处理引擎

Backed by $47 Million in Funding, the Company’s Engine Accelerates Data Processing for GenAI and Lakehouse Analytics
DataPelago 今天推出了一款革命性的通用数据处理引擎，该引擎能够加速任何引擎（包括开源），在任何硬件上使用任何数据类型。{ width=60% }

---

DataPelago的引擎使组织能够从GenAI和分析工作负载中以前所未有的价格和性能提取数据价值。公司以来自Eclipse、Taiwania Capital、Qualcomm Ventures、Alter Venture Partners、Nautilus Venture Partners以及First Citizens Bank旗下的Silicon Valley Bank的总额为4700万美元的资金从隐蔽状态下启动。
基于CPU和当今软件架构的传统处理解决方案无法处理每两年翻一番、非结构化数据现在占全部数据的90%的复杂度和数量增长。GenAI的激增及其对大量非结构化数据的依赖正在加剧处理挑战。DataPelago为加速计算时代创建了一个新的数据处理标准，以克服这些性能、成本和可伸缩性限制。
“如今，组织面临着解锁突破性智能和创新的难以逾越的壁垒：处理茫茫海量数据。” DataPelago联合创始人兼首席执行官Rajan Goyal表示。“我们创建DataPelago以解决这一关键需求。通过应用非线性思维来克服当前数据处理的限制，我们构建了一个能够处理不断增长的各种格式复杂数据量的引擎，使组织能够真正实现其数据的价值。”
DataPelago的通用数据处理引擎可作为端到端解决方案提供，也可与基于Substrait的开源框架集成，以加速Spark和Trino的计算。它为客户提供了破坏性的价格/性能优势，而不需要应用程序或工作流程的任何更改。DataPelago无缝集成到现有数据存储和数据湖平台中，消除了数据迁移的需要，并避免了供应商锁定。
“半结构化和非结构化数据的指数增长以及快速Gen AI/AI采用推动了创新，在AI领域以外，数据管理和数据处理也在创新。” McAfee执行副总裁兼首席技术官Steve Grobman表示。“McAfee一直自豪地与DataPelago合作设计他们的技术，该技术取得了良好的成果，包括在某些工作负载上显著提高性能和降低成本。”
DataPelago引擎具有创新的架构，由三层组成，共同实现数据处理速度比今天的查询引擎快一到两个数量级。
DataVM - 行业首个具有面向数据操作符的特定领域指令集架构（ISA）的虚拟机，提供在加速计算元素（跨CPU、GPU、FPGA和定制芯片）上执行的通用抽象层级。DataOS - 将数据操作映射到异构加速计算元素并动态管理它们以优化规模性能的操作系统层。DataApp - 一个可插拔的层，使其能够与包括Spark和Trino在内的平台集成，为这些引擎提供加速功能。
“与DataPelago合作显示了我们创新为提供卓越客户服务的决心。” Akad Seguros首席技术官André Fichel表示。“DataPelago的引擎允许我们通过在同一管道上处理结构化、半结构化和非结构化数据来统一我们的GenAI和数据分析管道，同时将我们的成本降低了50%以上。”
DataPelago的引擎特别适用于资源密集型用例，例如分析数十亿交易并确保数据新鲜度，支持基于AI的模型在数百万个消费者和数据中心端点之间以线速检测威胁，以及提供可扩展的平台，以促进训练、微调和RAG推理管道的快速部署。
联合创始人兼首席执行官Rajan Goyal在安全、数据移动和数据存储等领域拥有20多年的构建加速计算解决方案的经验。通过DataPelago，Goyal组建了一个跨系统、架构、数据分析、云SaaS、开源开发等领域拥有数十年经验的多学科团队，以打破数据处理今天面临的性能、成本和可伸缩性限制。
“当数据的提取速度与生成速度一样快时，企业可以获取洞察力，做出更好的决策，并更高效地运营。” Eclipse首席执行官兼创始合伙人Lior Susan表示。“DataPelago的通用数据处理引擎代表了一种范式转变，将在供应链、可持续能源、医疗领域等领域解锁新的可能性。”
“DataPelago能够巧妙地设计其引擎为处理单元不可知，包括GPU，使其成为数据加速领域的无可争议的领导者。” Taiwania Capital Management的总经理、DataPelago董事会成员Cheng Wu表示。“DataPelago有一位有远见的创始人、一个顶尖团队，以及在新的数据+AI世界中的各个阶段都支持其声明的经过证实的结果。”

要了解有关DataPelago的通用数据处理引擎的更多信息，请访问datapelago.io。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。