Apache Spark on Nomad 镜像文档

镜像概述与主要用途

本镜像是基于 Apache Spark 2.1.1 构建的分布式计算框架发行版，额外集成了对 HashiCorp Nomad 调度器的支持。通过该镜像，用户可在 Nomad 容器编排平台中直接提交和运行 Spark 分布式作业，实现 Spark 计算任务与 Nomad 调度能力的无缝集成。

核心功能与特性

• 基于 Apache Spark 2.1.1：镜像内置 Spark 2.1.1 版本，包含完整的 Spark 分布式计算功能（如 Spark Core、Spark SQL、Spark Streaming 等）。
• 集成 Nomad 调度支持：通过 Apache Spark 社区 PR 实现 Nomad 调度适配，支持将 Spark 作业提交至 Nomad 集群进行资源调度和任务编排。
• 支持本地分发模式：提供 local:///opt/spark 路径作为 Spark 分发目录，简化作业依赖分发流程。
• 兼容多部署模式：支持 Spark 的 Client Mode 和 Cluster Mode 两种部署模式，适配不同场景下的作业运行需求。

使用场景与适用范围

• Nomad 容器编排环境：适用于已采用 Nomad 作为容器编排平台，需要部署 Spark 分布式计算框架的场景。
• Spark 作业调度需求：需通过 Nomad 实现 Spark 作业的资源隔离、动态扩缩容及任务生命周期管理的用户。
• 开发与测试环境：支持在本地 Nomad 开发模式下快速验证 Spark 作业逻辑，降低环境配置复杂度。

使用方法与配置说明

环境准备

使用本镜像前需先部署 Nomad 环境。对于开发测试场景，可通过以下命令启动 Nomad Agent（开发者模式，需本地已安装 Nomad 且支持 Docker）：

bash
# 以开发者模式启动 Nomad Agent（包含服务端和客户端，仅用于测试）
sudo nomad agent -dev

部署模式说明

1. Client Mode（客户端模式）

在 Client Mode 下，Spark Driver 运行在提交作业的客户端（即本镜像容器内），Executor 由 Nomad 调度至集群节点运行。适用于需要本地监控 Driver 日志或交互式调试的场景。

使用命令：

bash
docker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \
  --master nomad \  # 指定调度器为 Nomad
  --docker-image hashicorp/spark-nomad \  # 指定 Executor 使用的 Docker 镜像
  --distribution local:///opt/spark \  # 指定 Spark 分发路径（镜像内置路径）
  --driver-memory 512m \  # Driver 内存大小
  --executor-memory 512m \  # 每个 Executor 内存大小
  --class org.apache.spark.examples.SparkPi \  # 作业主类（示例为 SparkPi）
  local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \  # 作业 JAR 包路径（镜像内置示例）
  10  # 作业参数（SparkPi 计算圆周率的迭代次数）

2. Cluster Mode（集群模式）

在 Cluster Mode 下，Spark Driver 由 Nomad 调度至集群节点运行，提交作业的客户端仅负责提交任务，不保留 Driver 进程。适用于生产环境中长时间运行的后台作业。

使用命令：

bash
docker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \
  --master nomad \  # 指定调度器为 Nomad
  --deploy-mode cluster \  # 指定部署模式为集群模式
  --docker-image hashicorp/spark-nomad \  # 指定 Driver 和 Executor 使用的 Docker 镜像
  --distribution local:///opt/spark \  # 指定 Spark 分发路径（镜像内置路径）
  --driver-memory 512m \  # Driver 内存大小
  --executor-memory 512m \  # 每个 Executor 内存大小
  --class org.apache.spark.examples.SparkPi \  # 作业主类（示例为 SparkPi）
  local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \  # 作业 JAR 包路径（镜像内置示例）
  10  # 作业参数（SparkPi 计算圆周率的迭代次数）

关键配置参数说明