Spark流水线数据质量检查组件

1.组件说明

该组件提供了一个可视化、交互式的数据质量规则设计器，支持多种校验类型和参数配置，便于灵活定义和管理数据校验逻辑。

适用于需要灵活配置数据质量校验规则的场景，在数据从数据源抽取、转换并加载到数据仓库的ETL过程中，添加数据质量检查组件，对每一步的数据进行质量检查。例如，在数据抽取后检查数据的完整性，在转换过程中检查数据的一致性和准确性，确保只有符合质量要求的数据才能进入数据仓库，避免错误数据对后续数据分析和决策的影响。

2.组件主要功能

1. 规则级别与描述设置

   • 支持选择校验级别（错误/Error 或 警告/Warning）。
   • 支持输入规则描述。

2. 约束条件管理

   • 支持添加、删除多个约束条件。
   • 每个约束可选择不同的校验类型（如：数据集大小、列完整性、唯一性、主键检查、非负值、最小/最大/平均值、模式匹配、自定义条件等）。
   • 根据不同类型动态渲染所需的参数输入项（如列名、操作符、期望值、区间、允许的值、自定义表达式等）。
   • 支持操作符选择（如等于、不等于、大于、小于、区间等），部分类型支持区间输入。

   校验类型 val	说明	适用场景与含义
   hasSize	数据集大小	校验数据集的总行数是否满足指定条件（如等于/大于/小于某个值或在某个区间内）。
   isComplete	列完整性	校验指定列是否不存在空值（即该列所有行都必须有值）。
   isUnique	列唯一性	校验指定列的值是否唯一（即该列不能有重复值）。
   isPrimaryKey	主键检查	校验指定列是否为主键（通常要求唯一且非空）。
   isContainedIn	值在集合中	校验指定列的值是否都包含在给定的值集合内。
   isNonNegative	非负值	校验指定列的所有值是否都大于等于 0。
   hasPattern	模式匹配	校验指定列的值是否都符合某种正则表达式模式（如手机号、邮箱等格式校验）。
   satisfies	自定义条件	支持自定义表达式校验，如“column1 > column2”等复杂逻辑。
   hasMin	最小值	校验指定列的最小值是否满足条件（如大于/小于/等于某个值或在区间内）。
   hasMax	最大值	校验指定列的最大值是否满足条件（如大于/小于/等于某个值或在区间内）。
   hasMean	平均值	校验指定列的平均值是否满足条件（如大于/小于/等于某个值或在区间内）。

   说明：

   • 部分类型（如 hasSize、hasMin、hasMax、hasMean）支持操作符选择（等于、不等于、大于、小于、区间等）。
   • isContainedIn 需要填写允许的值集合。
   • satisfies 需要填写自定义表达式和条件名称。
   • 其他类型通常需要指定列名。

3. 组件演示

3.1 创建任务

• 入口：通过顶部菜单栏选择 任务开发，或通过快捷入口 快速创建任务。

• 任务类型：选择 SparkPipeline。

  

3.2 配置任务

点击任务名称，进入任务详情页。任务节点如下

使用MockData节点生成100条测试数据

• id列类型为STRING,不为空

• age列类型为INT,可为空

使用DataProfiling探索数据

使用Deequ进行数据质量检查

规则定义如下：

• 数据集大小在10到100之间

• id列不能为空

• age列值唯一

• age列值最小值在10 - 20之间

• age列最大值小于等于100

• age列非负数

• id列为主键列

最后通过TableShow对各节点结果可视化展示

3.3 结果查看

模拟数据结果：

可自定义图表对结果进行可视化

数据探查结果：

数据质量检测结果：

从探查结果可见：

age列最小值为3，最大值为97，规则age列值最小值在10 - 20不通过，规则age列最大值小于等于100通过。

🔗 平台体验地址：DataStudio （http://1.94.182.15:8090）