DataPelago发布全球首个通用数据处理引擎

DataPelago今天发布了一款革命性的通用数据处理引擎，用于加速任何引擎，包括开源软件，在任何硬件上使用任何数据类型。{ width=60% }

---

DataPelago的引擎使组织能够从其GenAI和分析工作负载中以前所未有的价格和性能提取价值。该公司以4700万美元的资金从Eclipse、Taiwania Capital、Qualcomm Ventures、Alter Venture Partners、Nautilus Venture Partners和First Citizens Bank的Silicon Valley Bank部门斥资创建。

传统基于CPU和当今软件架构的处理解决方案无法处理每两年翻一番的数据的复杂性和量，其中非结构化数据现在占到创造的所有数据的90%。GenAI的激增及其对巨大体积的非结构化数据的依赖正在加剧处理挑战。DataPelago正在为加速计算时代创建一个新的数据处理标准，以克服这些性能、成本和可扩展性限制。

DataPelago联合创始人兼CEO Rajan Goyal表示：“今天，组织面临着解锁突破性智能和创新的无法逾越的障碍：处理无尽的数据海洋。我们创建了DataPelago来解决这一关键需求。通过应用非线性思维来克服数据处理当前的限制，我们构建了一个能够处理不断增加的各种格式的复杂数据体积指数级增长的引擎，这使得组织真正能够实现其数据的价值。”

DataPelago的通用数据处理引擎可作为端到端解决方案提供，也可与基于Substrait的开源框架集成，从而通过加速计算为Spark和Trino提供动力。它为客户提供了颠覆性的价格/性能优势，而无需更改应用程序或工作流。DataPelago可以无缝集成到现有的数据存储和lakehouse平台中，消除了数据迁移的需要，并避免了供应商锁定。

McAfee的执行副总裁兼首席技术官Steve Grobman表示：“半结构化和非结构化数据的指数增长以及快速的Gen AI/AI采用正在推动创新，不仅仅是在AI领域，也是在数据管理和数据处理领域。”“McAfee自豪地与DataPelago合作设计他们的技术，显示出一些有希望的结果，包括在某些工作负载上显著提高性能和降低成本。”

DataPelago引擎具有创新的架构，由三个层组成，共同将数据处理速度提高一到两个数量级，超过了当今查询引擎的速度。

DataVM - 行业首个具有面向数据运算符的领域特定指令集架构（ISA）的虚拟机，提供了用于在CPU、GPU、FPGA和定制硅元件上执行的公共抽象。
DataOS - 操作系统层，将数据操作映射到异构加速计算元素，并动态管理这些元素以优化规模上的性能。
DataApp - 一个可插入的层，支持与平台（包括Spark和Trino）集成，以为这些引擎提供加速功能。

DataPelago的引擎非常适用于资源密集型的用例，如分析数十亿笔交易，同时确保数据新鲜度，支持AI驱动模型以在数百万个消费者和数据中心端点之间以线速度检测威胁，并提供一个可扩展的平台，以促进快速部署培训、优化和RAG推断管线。

联合创始人兼CEO Rajan Goyal在加速计算解决方案领域拥有20多年的经验，跨越安全、数据移动和数据存储等领域。通过DataPelago，Goyal已经组建了一个跨系统、架构、数据分析、云SaaS、开源开发等领域拥有数十年经验的多学科团队，以打破数据处理在性能、成本和可扩展性方面所面临的限制。

Eclipse的首席执行官和创始合伙人Lior Susan表示：“当数据能够像生成一样快速被提取时，企业就能够利用见解做出更好的决策，运作得更加高效。”“DataPelago的通用数据处理引擎代表了一个将在供应链、可持续能源、医疗领域等领域开启新可能性的范式转变。”

Taiwania Capital Management的常务合伙人吴征表示：“DataPelago有前瞻性地将其引擎巧妙地构建为处理单元不可知的，包括GPU，这将使他们成为数据加速领域的无可争议的领袖。”“DataPelago拥有一个有远见的创始人、一个顶尖团队，并且在每个阶段的旅程中都有经过验证的结果来支持他们的声明。”

要了解有关DataPelago的通用数据处理引擎的更多信息，请访问datapelago.io。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。