发布于 : Apr 26, 2023
不在本期内容中
这一条目不在当前版本的技术雷达中。如果它出现在最近几期中，那么它很有可能仍然具有相关参考价值。如果这一条目出现在更早的雷达中，那么它很有可能已经不再具有相关性，我们的评估将不再适用于当下。很遗憾我们没有足够的带宽来持续评估以往的雷达内容。
了解更多
Apr 2023
评估
OpenLineage 是一个开放的数据管道沿袭元数据收集标准，旨在在作业运行时对其进行编整。它使用一致的命名约定定义了运行、作业和数据集实体的通用模型。沿袭模型的核心是可扩展的，可以通过定制切面来增加实体。OpenLineage 解决了生产者和消费者之间互通问题，否则大家不得不想各种办法实现互通。虽然存在它会成为另一个“中间标准”的风险，但作为 Linux 基金会 AI 和数据基金会项目，它获得被广泛采用的机会很大。OpenLineage 目前支持多个平台的数据采集，如 Spark 、Airflow 和 dbt，但用户需要自己配置监听器。OpenLineage 对数据消费者的支持目前较为有限。
