pyspark Docker 镜像下载 - 轩辕镜像

镜像概述

该镜像为PySpark应用程序测试提供专用基础环境，基于Linux发行版构建，预配置PySpark运行时及相关依赖库，集成常用测试工具，旨在解决PySpark应用测试过程中环境不一致、依赖配置复杂等问题，为开发人员和CI/CD流程提供标准化的测试基础。

核心功能与特性

1. 预配置PySpark环境

• 内置指定版本的PySpark及依赖组件（如Hadoop、Java运行时），无需手动安装配置。
• 支持多版本PySpark（通过标签区分，如:3.3.0对应PySpark 3.3.0版本）。

2. 测试工具集成

• 预装Python测试框架（pytest、unittest）及PySpark测试辅助库（如pyspark-testing）。
• 包含代码覆盖率工具（coverage.py），支持测试结果量化分析。

3. 环境一致性保障

• 基于固定基础镜像（如python:3.9-slim或debian:bullseye-slim）构建，确保跨环境测试行为一致。
• 隔离测试环境与生产环境，避免依赖冲突。

4. 轻量级设计

• 优化镜像体积，移除非必要组件，适合快速拉取和部署。

使用场景

1. 本地开发测试

开发人员可基于此镜像在本地快速搭建PySpark测试环境，验证数据处理逻辑、函数功能及性能瓶颈。

2. CI/CD流水线集成

作为CI/CD流程中的测试阶段基础镜像，实现PySpark应用的自动化测试（如GitLab CI、GitHub Actions），确保代码提交前通过测试验证。

3. 多版本兼容性测试

通过指定不同PySpark版本标签（如:3.2.0、:3.4.1），测试应用在多版本PySpark下的兼容性。

使用方法与配置说明

1. 镜像拉取

通过Docker Hub或私有仓库拉取镜像：

bash
docker pull [镜像仓库地址]/pyspark-test-base:[版本标签]
# 示例（假设***标签）：
# docker pull pyspark-test-base:3.3.0

2. 基础运行命令

运行容器并进入交互式环境，挂载本地PySpark代码目录进行测试：

bash
docker run -it --rm \
  -v /本地/pyspark代码目录:/app \
  -w /app \
  pyspark-test-base:3.3.0 \
  /bin/bash

进入容器后，可直接使用pytest执行测试：

bash
pytest tests/  # 假设测试代码位于/app/tests目录

3. 环境变量配置

通过环境变量自定义测试环境，常用变量如下：

示例：指定测试报告输出路径

bash
docker run -it --rm \
  -v /本地代码:/app \
  -e TEST_REPORT_PATH=/app/custom-reports \
  pyspark-test-base:3.3.0 \
  pytest tests/ --html=$TEST_REPORT_PATH/report.html

4. 集成CI/CD示例（GitHub Actions）

在.github/workflows/test.yml中配置：

yaml
jobs:
  pyspark-test:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v4
      
      - name: Run PySpark tests
        uses: docker/run-action@v3
        with:
          image: pyspark-test-base:3.3.0
          volumes:
            - ${{ github.workspace }}:/app
          workdir: /app
          env:
            TEST_REPORT_PATH: /app/test-reports
          command: pytest tests/ --html=$TEST_REPORT_PATH/report.html

注意事项

• 镜像标签与PySpark版本对应，使用前需确认应用兼容的PySpark版本。
• 本地代码目录挂载时需确保权限正确，避免容器内无法读取文件。
• 如需扩展测试工具（如Spark Streaming测试组件），可基于此镜像构建自定义镜像：

  dockerfile
  FROM pyspark-test-base:3.3.0
  RUN pip install pyspark-streaming-test  # 安装额外测试库