StreamNative宣布推出Ursa
Company has rearchitected Apache Pulsar for a cost-conscious data streaming era
StreamNative, the cloud-native data streaming company founded by the original creators of Apache Pulsar, today launched Ursa, a Kafka-compatible data streaming engine built on top of lakehouse storage. Ursa is advancing Apache Pulsar with added functionality in public and private cloud environments to take data streaming to its next generation.
虽然云计算在过去十年中降低了运营成本,但基础设施成本,尤其是网络成本却有所增加。{ width=60% }
对于像数据流和分析这样的技术来说,其中网络成本大约占整个IT支出的80%,优化网络成为许多公司的首要关注点。此外,大多数云供应商对出口流量收费很高,这使得从多个源聚合数据变得更加困难。这些因素的叠加推动了“lakehouse”范式的出现,用于统一批处理和流式传输数据目的地。数据流功能必须不断发展,以满足在大规模云数据平台上构建实时分析的现代需求。
Ursa利用了Apache Pulsar的架构原则和优势,例如将计算与存储分开、无重新平衡的架构设计和云优先存储。然而,Ursa有三个重要更新:
Kafka API兼容性。Ursa与Kafka API完全兼容。这使用户可以无需重写应用程序就能迁移到StreamNative,并继续在完全Kafka生态系统中使用。摆脱ZooKeeper和BookKeeper。用户不再需要管理ZooKeeper,也可以选择取消Bookkeeper以优化成本,从而在现代容器化环境(如Kubernetes)中更容易部署。Ursa利用商品对象存储进行成本效益的数据复制,消除了传统数据流技术中经常出现的过多AZ之间流量。Lakehouse First。Lakehouse是所有分析数据的目的地,而流式数据最终会落入lakehouse中。借助Ursa引擎,数据可以立即以lakehouse格式可用,消除了在Pulsar、Kafka和您的lakehouse之间复杂且昂贵的数据移动。这不仅可以通过其他工具更快、更具成本效益地处理和分析数据,同时也不再需要在不同存储系统之间进行数据分层。使用Delta Lake、Apache Hudi和Apache Iceberg等lakehouse存储格式进行长期保留,将成本降至最低。
我们很高兴看到StreamNative在lakehouse存储中采用Delta Lake格式,这证明了他们在数据管理方面前瞻性的态度。Delta Lake日益增长的流行反映了其强大的功能,而StreamNative对此格式的整合则标志着其用户的显著进步。这一举措不仅增强了他们的产品,还与数据可靠性和可扩展性的行业领先标准保持一致,”Databricks产品管理总监Himanshu Raja表示。
“当我们创立StreamNative时,我们的愿景是在云中提供一项真正现代的数据流服务,利用开源的Apache Pulsar中开创性的架构优势。虽然我们基于Pulsar的初始云服务在行业中是领先的,但我们意识到,要实现我们对于创建成本意识时代的数据流云的愿景,需要重新思考系统架构、运营方式以及用户体验,”StreamNative联合创始人兼CEO郭四杰说。“有了Ursa,我们在几个维度上推进了Pulsar的核心数据流引擎,这代表着StreamNative履行其创造世界顶尖云原生数据流平台的使命迈出了一大步。”
URSA引擎从今天起作为ONE StreamNative平台提供。有关更多信息,请访问下面列出的材料:
StreamNative联合创始人兼CEO郭四杰的URSA博客Lakehouse存储博客帖子Pulsar虚拟峰会EMEA 2004
Pulsar虚拟峰会欧洲2024
今天的发布与Pulsar虚拟峰会欧洲2024同时进行,这是一个致力于Apache Pulsar和消息传递以及事件流社区的活动。会议汇集了国际CTO、CIO、开发人员、数据架构师、数据科学家、Apache Pulsar committer和贡献者以及数据流社区,分享经验,交流想法和知识。
先前的Pulsar峰会活动包括来自思科、Salesforce、Splunk、Verizon Media、Iterable、Yahoo! JAPAN、TIBCO、Intuit等公司的技术负责人、开源开发者、软件工程师和软件架构师共200多场互动会话。这些会议汇集了全球范围内来自AWS、Google、Uber、Microsoft、AMEX、Salesforce、迪士尼、Paypal等顶尖技术、金融科技和媒体公司的3000多名与会者。
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
StreamNative宣布推出Ursa