Soda Core

SQL、Spark和Pandas可访问数据的数据质量测试工具

![License: Apache 2.0]([] ![Slack]([] ![Downloads]([***]

核心功能

• 开源的命令行工具和Python库，用于数据质量测试
• 兼容Soda Checks Language (SodaCL)
• 可在数据管道内外和开发工作流中进行数据质量测试
• 支持集成到数据管道中执行Soda扫描，或按时间计划以编程方式执行扫描

概述

Soda Core是一款免费、开源的命令行工具和Python库，允许您使用Soda Checks Language将用户定义的输入转换为聚合SQL查询。

当对数据集运行扫描时，Soda Core执行检查以发现无效、缺失或意外的数据。当Soda检查失败时，会显示您定义为质量不佳的数据。

Soda Library

考虑迁移到Soda Library，这是Soda Core的扩展，提供更多特性和功能，并允许您连接到Soda Cloud账户，与团队协作处理数据质量。

• 使用Group by和Group Evolution配置智能分组检查结果
• 利用Reconciliation checks比较数据源之间的数据，适用于数据迁移项目
• 使用Schema Evolution检查自动验证模式
• 设置Anomaly Detection检查自动学***模式并发现数据中的异常

安装Soda Library并开始45天免费试用。

快速开始

Soda Core目前支持连接到多个数据源。完整列表请参见兼容性。

要求

• Python 3.8或更高版本
• Pip 21.0或更高版本

安装和运行

1. 首先，使用安装命令，将soda-core-postgres替换为与您的数据源匹配的包。完整列表请参见安装Soda Core。

   shell
   pip install soda-core-postgres
   

2. 准备configuration.yml文件以连接到您的数据源。然后，在checks.yml文件中编写数据质量检查。参见配置Soda Core。

3. 运行扫描以查看扫描期间通过、失败或警告的检查。参见运行Soda Core扫描。

   shell
   soda scan -d your_datasource -c configuration.yml checks.yml
   

示例检查

yaml
# 基本验证检查
checks for dim_customer:
  - row_count between 10 and 1000
  - missing_count(birth_date) = 0
  - invalid_percent(phone) < 1 %:
      valid format: phone number
  - invalid_count(number_cars_owned) = 0:
      valid min: 1
      valid max: 6
  - duplicate_count(phone) = 0

# 模式变更检查
checks for dim_product:
  - schema:
      name: 查找禁止、缺失或错误类型的列
      warn:
        when required column missing: [dealer_price, list_price]
        when forbidden column present: [credit_card]
        when wrong column type:
          standard_cost: money
      fail:
        when forbidden column present: [pii*]
        when wrong column index:
          model_name: 22
# 新鲜度检查
  - freshness(start_date) < 1d

# 引用完整性检查
checks for dim_department_group:
  - values in (department_group_name) must exist in dim_employee (department_name)

文档

• Soda Core
• Soda Checks Language (SodaCL)