跳到主要内容

数据治理

LakeInsight 通过集成 OpenMetadata,实现 LakeSoul 数据资产、数据血缘、数据质量等功能,并原生支持 LakeSoul 工作空间及域的划分。

通过 数据服务 → 数据治理 进入:

数据资产

可通过探索功能,查询入湖的数据源、LakeSoul 自身的库表,以及处理 ETL 数据的 Flink/Spark 作业。

以 LakeSoul 表信息为例:

数据血缘

LakeInsight 通过采集全局 LakeSoul 及上下游作业信息并进行汇总,可在数据血缘模块查询具体表或具体作业的上下游血缘关系。

数据血缘支持跨工作空间和域:

数据质量

通过为每个表设置数据质量规则,并配置定时调度,可定期抽检 LakeSoul 表各列是否存在质量问题。

为具体 LakeSoul 表设置质量规则:

设置数据质量规则:

添加之后,规则会出现在具体每个表的 数据观测 → 数据质控 → 测试用例。可设置调度工作流,定时抽检数据: