fridevbi/parquet-tools-docker Docker 镜像 - 轩辕镜像

parquet-tools Docker镜像文档

镜像概述和主要用途

本Docker镜像用于运行parquet-tools工具集，parquet-tools是Apache Parquet项目的官方命令行工具，专门用于处理Apache Parquet文件格式的数据。Parquet是一种高效的列式存储格式，广泛应用于大数据生态系统（如Hadoop、Spark、Flink等）。该镜像提供了便捷的方式使用parquet-tools，无需本地安装Java环境及相关依赖，直接通过Docker容器即可执行Parquet文件的各类操作。

核心功能和特性

• 元数据查看：通过meta命令查看Parquet文件的元数据信息，包括版本、创建者、列信息、压缩方式、分区信息等。
• 内容读取：通过cat命令读取Parquet文件的实际数据内容，支持指定列、过滤条件等。
• 文件转换：通过convert命令将Parquet文件转换为其他格式（如CSV、JSON等）。
• 模式查看：通过schema命令显示Parquet文件的详细模式（Schema）定义，包括字段类型、嵌套结构等。
• 统计信息：通过count命令获取Parquet文件的行数统计信息。
• 跨平台兼容：基于Docker容器化运行，无需关心本地系统环境，支持Linux、macOS、Windows等操作系统。

使用场景和适用范围

• 数据工程师日常分析：快速查看Parquet文件结构和内容，验证数据写入是否符合预期。
• 数据质量检查：检查Parquet文件的元数据完整性、压缩效率、分区合理性等。
• Parquet格式验证：验证生成的Parquet文件是否符合Parquet格式规范。
• 开发调试：在Parquet相关应用开发过程中，用于调试文件生成、读取逻辑。
• 教学演示：在大数据技术培训或教学中，作为轻量级工具演示Parquet文件特性。

使用方法和配置说明

基本用法

通过docker run命令启动容器并执行parquet-tools命令，基本格式如下：

bash
docker run --rm [OPTIONS] <镜像名称> <parquet-tools命令> <Parquet文件路径>

• --rm：容器退出后自动删除，避免残留容器文件。
• <镜像名称>：该Docker镜像的名称（需替换为实际镜像标签）。
• <parquet-tools命令>：需执行的parquet-tools命令（如meta、cat、schema等）。
• <Parquet文件路径>：容器内的Parquet文件路径（通常通过挂载本地文件实现访问）。

挂载本地文件

由于容器内默认无本地文件，需通过-v参数将本地Parquet文件或目录挂载到容器中，示例如下：

bash
docker run --rm -v /本地/Parquet文件路径:/data <镜像名称> <命令> /data/目标文件.parquet

• /本地/Parquet文件路径：本地存放Parquet文件的目录或具体文件路径。
• /data：容器内的挂载点（可自定义，需与后续文件路径对应）。

常用命令示例

1. 查看Parquet文件元数据（meta命令）

查看指定Parquet文件的元数据信息：

bash
docker run --rm -v /local/data:/data <镜像名称> meta /data/sample.parquet

2. 读取Parquet文件内容（cat命令）

读取Parquet文件的全部内容（默认显示前10行，可通过-n参数指定行数）：

bash
docker run --rm -v /local/data:/data <镜像名称> cat /data/sample.parquet

读取指定列的内容：

bash
docker run --rm -v /local/data:/data <镜像名称> cat -c "col1,col2" /data/sample.parquet

3. 查看Parquet文件模式（schema命令）

显示Parquet文件的详细模式定义：

bash
docker run --rm -v /local/data:/data <镜像名称> schema /data/sample.parquet

4. 转换Parquet文件格式（convert命令）

将Parquet文件转换为CSV格式并输出到本地文件：

bash
docker run --rm -v /local/data:/data <镜像名称> convert /data/sample.parquet /data/output.csv

5. 统计文件行数（count命令）

统计Parquet文件的总行数：

bash
docker run --rm -v /local/data:/data <镜像名称> count /data/sample.parquet

高级配置

目前parquet-tools工具本身无特殊环境变量配置需求，所有功能通过命令行参数控制。若需持久化常用配置，可通过编写shell脚本或Docker Compose文件简化操作。

Docker Compose示例

创建docker-compose.yml文件，定义常用挂载和命令：

yaml
version: '3'
services:
  parquet-tools:
    image: <镜像名称>
    volumes:
      - /local/data:/data
    command: meta /data/sample.parquet  # 默认执行的命令，可根据需要修改

通过docker-compose up启动，执行默认命令。如需执行其他命令，可覆盖command字段：

bash
docker-compose run --rm parquet-tools cat /data/sample.parquet

注意事项

• 确保挂载的本地文件路径具有读权限，避免因权限问题导致文件无法访问。
• 对于大型Parquet文件，cat命令可能输出大量内容，建议结合head、grep等命令分页或过滤查看（需通过容器内shell或本地管道实现）。
• 不同版本的parquet-tools可能支持的命令参数略有差异，具体请参考parquet-tools官方文档。