Scribe Hub 定制版 Apache Superset 镜像文档

镜像概述和主要用途

本镜像基于 Apache Superset 构建，针对 Scribe Hub 环境进行定制优化，提供数据可视化与分析能力。其核心用途是帮助 Scribe Hub 用户快速构建交互式数据仪表板、执行 SQL 探索分析，并与 Scribe Hub 生态系统深度集成，简化数据洞察流程。

核心功能和特性

基础功能（继承自 Apache Superset）

• 交互式数据可视化：支持多种图表类型（折线图、柱状图、热力图等）及自定义可视化配置
• SQL 编辑器与探索：内置 SQL 编辑器，支持即席查询与结果可视化
• 多数据源连接：兼容主流数据库（PostgreSQL、MySQL、Redshift 等）及数据仓库
• 精细化权限控制：基于角色的访问控制（RBAC），支持数据集、仪表板权限管理
• 自动化报表：支持定时报表生成与邮件发送

Scribe Hub 定制特性

• Scribe Hub 数据源原生集成：预配置 Scribe Hub 数据湖、元数据存储及 API 数据源连接模板
• 统一身份认证：支持与 Scribe Hub 单点登录（SSO）系统集成，无需独立账号管理
• Scribe Hub 专属仪表板模板：内置数据质量监控、数据资产分析等 Scribe Hub 场景化仪表板模板
• 性能优化：针对 Scribe Hub 大数据量场景优化查询执行计划与缓存策略
• 元数据联动：可直接关联 Scribe Hub 的数据血缘、数据质量指标等元数据

使用场景和适用范围

典型使用场景

• Scribe Hub 数据湖探索：通过 SQL 编辑器或可视化界面分析 Scribe Hub 数据湖中的结构化/半结构化数据
• 数据质量监控：基于预配置模板构建 Scribe Hub 数据质量指标（完整性、准确性）实时监控仪表板
• 团队协作分析：共享 Scribe Hub 相关数据集与分析结果，支持多人协作编辑仪表板
• 业务指标追踪：对接 Scribe Hub 业务系统数据，构建销售、运营等核心指标的趋势分析仪表板

适用用户群体

• Scribe Hub 平台开发者（数据管道监控与调试）
• 数据分析师（基于 Scribe Hub 数据进行深度分析）
• 业务用户（通过预配置仪表板查看关键业务指标）
• 运维团队（监控 Scribe Hub 系统运行状态）

使用方法和配置说明

环境要求

• Docker Engine 20.10+ 或 Docker Desktop 4.0+
• 最低资源：2 CPU 核心、4GB 内存、10GB 磁盘空间（生产环境建议 4 CPU/8GB 内存）
• 网络：可访问 Scribe Hub 数据源（如数据湖 API、元数据库）及外部网络（用于拉取依赖）

快速启动（docker run）

基本启动命令

bash
docker run -d \
  --name scribe-hub-superset \
  -p 8088:8088 \
  -e SCRIBE_HUB_API_URL="[***]" \
  -e SECRET_KEY="your-superset-secret-key" \
  scribe-hub/superset:latest

带持久化存储的启动（推荐）

bash
docker run -d \
  --name scribe-hub-superset \
  -p 8088:8088 \
  -v ./superset-data:/app/superset_home \  # 持久化元数据、配置和缓存
  -v ./scribe-hub-drivers:/app/drivers \   # 挂载 Scribe Hub 数据源驱动（如需要）
  -e SCRIBE_HUB_API_URL="[***]" \
  -e SECRET_KEY="your-superset-secret-key" \
  -e DB_TYPE="postgresql" \                # 元数据库类型（默认 sqlite，生产建议 postgresql/mysql）
  -e DB_HOST="superset-db" \
  -e DB_PORT="5432" \
  -e DB_USER="superset" \
  -e DB_PASSWORD="superset-db-password" \
  -e DB_NAME="superset_metadata" \
  scribe-hub/superset:latest

生产环境部署（docker-compose）

docker-compose.yml 配置示例

yaml
version: '3.8'

services:
  superset:
    image: scribe-hub/superset:latest
    container_name: scribe-hub-superset
    restart: unless-stopped
    ports:
      - "8088:8088"
    environment:
      - SECRET_KEY=your-strong-secret-key-here
      - SCRIBE_HUB_API_URL=[***]
      - SCRIBE_HUB_SSO_ENABLED=true
      - SCRIBE_HUB_SSO_CLIENT_ID=your-sso-client-id
      - SCRIBE_HUB_SSO_CLIENT_SECRET=your-sso-client-secret
      - DB_TYPE=postgresql
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_USER=superset
      - DB_PASSWORD=secure-db-password
      - DB_NAME=superset_metadata
      - CACHE_TYPE=redis
      - REDIS_HOST=redis
      - REDIS_PORT=6379
    volumes:
      - superset-data:/app/superset_home  # 持久化元数据、上传文件等
      - ./superset_config.py:/app/pythonpath/superset_config.py  # 自定义配置覆盖
    depends_on:
      - postgres
      - redis

  postgres:  # 元数据库（生产环境建议使用外部托管数据库）
    image: postgres:14-alpine
    container_name: superset-postgres
    restart: unless-stopped
    environment:
      - POSTGRES_USER=superset
      - POSTGRES_PASSWORD=secure-db-password
      - POSTGRES_DB=superset_metadata
    volumes:
      - postgres-data:/var/lib/postgresql/data

  redis:  # 缓存服务（用于查询结果缓存、会话管理）
    image: redis:7-alpine
    container_name: superset-redis
    restart: unless-stopped
    volumes:
      - redis-data:/data

volumes:
  superset-data:
  postgres-data:
  redis-data:

环境变量配置说明

初始化与访问

1. 创建管理员用户（首次启动时）

bash
# 进入容器
docker exec -it scribe-hub-superset bash

# 执行初始化命令（创建管理员用户、加载示例数据等）
superset fab create-admin \
  --username admin \
  --firstname Admin \
  --lastname User \
  --email *** \
  --password your-admin-password

# 初始化数据库（仅首次启动需要）
superset db upgrade

# 加载内置角色和权限
superset init

# （可选）加载 Scribe Hub 示例仪表板模板
superset load_examples --source=scribe_hub

2. 访问服务

启动后，通过 http://<容器宿主机IP>:8088 访问 Superset 界面，使用创建的管理员账号或 Scribe Hub SSO 账号登录。

高级配置

自定义配置文件

通过挂载 superset_config.py 覆盖默认配置（示例内容）：

python
# ./superset_config.py
from datetime import timedelta

# Scribe Hub 数据源配置
SCRIBE_HUB_DATA_SOURCES = {
    "data_lake": {"type": "delta_lake", "path": "/data/scribe-hub/delta"},
    "metadata_db": {"type": "postgresql", "uri": "postgresql://user:pass@metadata-db:5432/metadata"}
}

# 会话配置（与 SSO 保持一致）
SESSION_COOKIE_SECURE = True
PERMANENT_SESSION_LIFETIME = timedelta(hours=8)

# 缓存配置
CACHE_CONFIG = {
    "CACHE_TYPE": "RedisCache",
    "CACHE_REDIS_URL": "redis://redis:6379/1",
    "CACHE_DEFAULT_TIMEOUT": 3600  # 缓存 1 小时
}

# 允许的上传文件类型（仅 Scribe Hub 相关）
ALLOWED_UPLOAD_EXTENSIONS = {"csv", "json", "parquet", "scribe"}

持久化与备份

• 元数据备份：定期备份 superset-data 卷或外部元数据库（PostgreSQL/MySQL）
• 配置备份：保存自定义 superset_config.py 及环境变量配置
• 升级策略：升级镜像前建议备份元数据库（执行 superset db dump）

注意事项

• 安全建议：生产环境中必须设置强 SECRET_KEY，启用 HTTPS（通过反向代理如 Nginx），并限制数据库访问权限
• 性能调优：大数据量查询时建议配置 Redis 缓存、启用异步查询（ASYNC_QUERIES=true）
• 版本兼容性：本镜像基于 Apache Superset 3.0+ 构建，与 Scribe Hub v2.5+ 兼容，低版本 Scribe Hub 需联系技术支持获取适配版本