Datorios推出Apache Flink®的Lineage Analyzer

Datorios是领先的实时业务运营数据可观察性和数据质量技术开发者,他们推出了适用于Apache Flink®的Datorios Lineage Analyzer。图片{ width=60% }


在正在进行的Current 2024的会议上在得克萨斯州奥斯汀宣布,Lineage Analyzer为流数据基础设施运营商提供了更深入、更完整的洞察力,揭示驱动实时业务运营和实时人工智能的数据处理管道的性能。

数据血统指的是信息从起点到通过各种转换或采取行动的各个管道进行传输的生命周期和旅程。随着企业越来越依赖于数据驱动的实时自动化和人工智能,并使用Apache Flink来创建这些系统,Lineage Analyzer对于确保准确性和可用性至关重要。它加速了Apache Flink开发人员和运营商的开发、故障排除和优化。

数据血统在确保数据处理符合法律标准的许多要求监管合规性至关重要的行业中发挥着至关重要的作用。通过维护数据在Flink作业内部是如何转换和移动的清晰记录,公司可以向审计员和监管机构提供必要的透明度。这对于证明实时数据处理工作流的完整性和准确性至关重要。

Lineage Analyzer不仅提供“什么”,而且提供“为什么”。Lineage Analyzer提供了一套全面的功能,旨在帮助开发人员跟踪他们在管道中的数据,监视转换,并确定数据更改发生的位置。与其他数据血统工具不同,这些工具仅显示对数据起作用的进程列表,Lineage Analyzer还提供有关进程内步骤的见解,从而可以明确数据发生更改的原因。这使组织能够进行更彻底的审计,并轻松进行故障排除。

Lineage Analyzer的关键功能包括:

  • 数据血统可视化–查看交互式作业图,这些作业图是提供实时处理管道概览的有向无环图(DAG)。
  • 数据流细节–深入挖掘作业图,探索数据流操作符的详细视图。
  • 数据跟踪–探索实际数据记录在操作符之间的流动,并实时查看数据转换。
  • 低性能开销–与其他血统工具不同,Lineage Analyzer在Flink作业之外运行,这样您就可以获得所需的可见性,而不会影响您的实时系统性能。

“今天的业务创新者不仅仅是使用AI聊天机器人来回答问题;他们正在创造使用AI采取行动的自主代理人。”Datorios的首席执行官兼联合创始人Ronen Korman说。“由于这些系统的成功至关重要,企业不能承担停机或错误;Lineage Analyzer帮助他们避免这些问题,并自信前行。”

要了解更多信息,请访问Datorios的博客或在公司的Slack频道中与社区成员联系。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

Datorios推出Apache Flink®的Lineage Analyzer

https://www.gptnb.com/2024/09/22/2024-09-21-auto3-6jt3hr/

作者

ByteAILab

发布于

2024-09-22

更新于

2025-03-21

许可协议