fikolis/airflow Docker 镜像 - 轩辕镜像

Apache Airflow Docker镜像文档

1. 镜像概述和主要用途

Apache Airflow是一款开源的工作流编排平台，用于以代码形式定义、调度和监控复杂工作流。Airflow Docker镜像是官方提供的容器化分发版本，旨在简化Airflow的部署流程，确保环境一致性，并支持快速集成到容器化基础设施中。

主要用途：

• 提供开箱即用的Airflow运行环境，避免手动配置依赖（如Python库、数据库驱动等）
• 支持单机或分布式部署模式，适配不同规模的工作流需求
• 便于在开发、测试和生产环境中快速迁移和扩展

2. 核心功能和特性

2.1 工作流定义与调度

• 基于Python代码定义工作流（DAG，有向无环图），支持版本控制和代码复用
• 灵活的调度策略：支持定时触发（Cron表达式）、依赖触发、外部事件触发

2.2 执行引擎

• 多执行器支持：SequentialExecutor（单机单进程）、LocalExecutor（单机多进程）、CeleryExecutor（分布式）、KubernetesExecutor（容器编排）
• 任务隔离：支持DockerOperator、KubernetesPodOperator等，实现任务级环境隔离

2.3 监控与可视化

• 内置Web UI：实时展示工作流状态、任务日志、依赖关系图
• 告警机制：支持Email、Slack、PagerDuty等多渠道任务失败告警

2.4 可扩展性

• 插件生态：支持自定义操作符（Operator）、钩子（Hook）、传感器（Sensor）
• 元数据存储：兼容PostgreSQL、MySQL等关系型数据库，支持高可用配置

3. 使用场景和适用范围

3.1 典型使用场景

• 数据处理管道：ETL/ELT流程编排（如数据抽取、清洗、加载）
• 定时任务调度：替代传统Cron任务，管理复杂依赖（如"任务B需在任务A和C完成后执行"）
• 跨系统协同：串联多系统操作（如调用API、触发Spark作业、同步数据库）
• 合规与审计：记录任务执行历史、日志留存，满足数据合规要求

3.2 适用范围

• 用户角色：数据工程师、DevOps工程师、数据科学家、SRE
• 行业领域：互联网、***、电商、***等需处理大规模数据或复杂流程的场景
• 基础设施：单机部署（小流量测试）、分布式集群（生产环境）、云原生环境（K8s集成）

4. 详细使用方法和配置说明

4.1 获取镜像

Airflow官方镜像托管于Docker Hub，默认标签为apache/airflow:latest。建议指定具体版本（如apache/airflow:2.8.0）以确保稳定性。

bash
# 拉取最新版镜像
docker pull apache/airflow:latest

# 拉取指定版本镜像
docker pull apache/airflow:2.8.0

4. 详细使用方法和配置说明

4.1 获取镜像

Airflow官方镜像托管于Docker Hub，默认标签为apache/airflow:latest。建议指定具体版本（如apache/airflow:2.8.0）以确保稳定性。

bash
# 拉取最新版镜像
docker pull apache/airflow:latest

# 拉取指定版本镜像
docker pull apache/airflow:2.8.0

4.2 基本运行命令（docker run）

以下示例为单机测试场景，使用默认SequentialExecutor和SQLite元数据库（生产环境需替换为PostgreSQL/MySQL）。

4.2.1 初始化数据库

首次运行需初始化元数据库（存储工作流元数据、任务状态等）：

bash
docker run --rm \
  -e AIRFLOW__CORE__EXECUTOR=SequentialExecutor \
  -e AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=sqlite:////opt/airflow/airflow.db \
  -e _AIRFLOW_DB_UPGRADE=true \
  -v ./dags:/opt/airflow/dags \  # 挂载本地DAG目录
  apache/airflow:latest

4.2.2 启动Web服务和调度器

初始化完成后，启动Web UI（端口8080）和调度器（负责任务触发）：

bash
docker run -d \
  --name airflow-webserver \
  -p 8080:8080 \  # Web UI端口映射
  -e AIRFLOW__CORE__EXECUTOR=SequentialExecutor \
  -e AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=sqlite:////opt/airflow/airflow.db \
  -e AIRFLOW__WEBSERVER__EXPOSE_CONFIG=true \  # Web UI显示配置详情
  -v ./dags:/opt/airflow/dags \
  -v ./logs:/opt/airflow/logs \  # 挂载日志目录（持久化任务日志）
  apache/airflow:latest webserver

docker run -d \
  --name airflow-scheduler \
  -e AIRFLOW__CORE__EXECUTOR=SequentialExecutor \
  -e AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=sqlite:////opt/airflow/airflow.db \
  -v ./dags:/opt/airflow/dags \
  -v ./logs:/opt/airflow/logs \
  apache/airflow:latest scheduler

4.3 Docker Compose配置示例

生产环境建议使用docker-compose管理多组件（如Web服务、调度器、元数据库、消息队列）。以下为基于CeleryExecutor的分布式部署示例（需PostgreSQL+Redis）：

docker-compose.yml

yaml
version: '3.8'

x-airflow-common: &airflow-common
  image: apache/airflow:2.8.0
  environment: &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'  # 禁用示例DAG
    AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true'
    _AIRFLOW_DB_UPGRADE: 'true'  # 启动时自动升级数据库
    _AIRFLOW_WWW_USER_CREATE: 'true'  # 创建默认管理员用户
    _AIRFLOW_WWW_USER_USERNAME: admin  # 管理员用户名
    _AIRFLOW_WWW_USER_PASSWORD: admin  # 管理员密码（生产环境需修改）
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins  # 挂载自定义插件目录
  depends_on:
    - postgres
    - redis

services:
  postgres:  # 元数据库（存储工作流状态）
    image: postgres:15
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

  redis:  # Celery消息队列（分发任务）
    image: redis:latest
    ports:
      - "6379:6379"
    healthcheck:
      test: ["CMD", "redis-cli", "ping"]
      interval: 30s
      timeout: 30s
      retries: 3

  airflow-webserver:  # Web UI服务
    <<: *airflow-common
    command: webserver
    ports:
      - "8080:8080"
    healthcheck:
      test: ["CMD", "curl", "--fail", "http://localhost:8080/health"]
      interval: 30s
      timeout: 30s
      retries: 3
    restart: always

  airflow-scheduler:  # 调度器
    <<: *airflow-common
    command: scheduler
    restart: always

  airflow-worker:  # 任务执行节点（可横向扩展多个实例）
    <<: *airflow-common
    command: celery worker
    restart: always

  airflow-init:  # 初始化服务（仅首次运行）
    <<: *airflow-common
    command: version
    environment:
      <<: *airflow-common-env
      _AIRFLOW_DB_UPGRADE: 'true'
      _AIRFLOW_WWW_USER_CREATE: 'true'
      _AIRFLOW_WWW_USER_USERNAME: admin
      _AIRFLOW_WWW_USER_PASSWORD: admin

volumes:
  postgres-db-volume:

启动步骤

bash
# 初始化目录权限（避免容器内权限问题）
mkdir -p ./dags ./logs ./plugins
chmod -R 777 ./dags ./logs ./plugins  # 生产环境需按需调整权限

# 启动所有服务
docker-compose up -d

# 查看服务状态
docker-compose ps

4.4 核心环境变量说明

Airflow通过环境变量配置核心参数，格式为AIRFLOW__<SECTION>__<KEY>（SECTION对应配置文件章节，KEY对应具体配置项）。常用变量如下：

4.5 数据持久化

Airflow需持久化的数据包括：

• DAG文件：挂载本地目录至容器/opt/airflow/dags（如-v ./dags:/opt/airflow/dags）
• 任务日志：挂载本地目录至容器/opt/airflow/logs（如-v ./logs:/opt/airflow/logs）
• 元数据库数据：通过外部数据库（如PostgreSQL）持久化（避免使用SQLite，不支持多进程访问）

4.6 Web UI访问

Web UI默认监听容器内8080端口，通过宿主机端口映射访问（如http://localhost:8080）。登录用户为环境变量_AIRFLOW_WWW_USER_USERNAME和_AIRFLOW_WWW_USER_PASSWORD配置的值（默认admin/admin）。

Web UI功能包括：

• DAG列表与状态监控
• 任务实例日志查看
• 工作流依赖图（Graph View）
• 任务调度历史（Tree View）

5. 注意事项

• 数据库选择：生产环境必须使用PostgreSQL或MySQL作为元数据库，SQLite仅支持SequentialExecutor且不适合多进程场景。
• 安全配置：默认管理员密码需修改，Web UI建议通过反向代理（如Nginx）配置HTTPS，并限制访问IP。
• 资源规划：调度器（scheduler）和工作节点（worker）需根据任务数量分配CPU/内存资源，避免资源不足导致任务延迟。
• 版本兼容性：升级镜像前需参考Airflow官方升级文档，避免配置项变更导致兼容问题。
• 日志管理：大规模部署时建议集成ELK Stack或云日志服务，避免本地日志目录过大。