Rucio - 科学数据管理（服务器容器）

镜像概述和主要用途

Rucio是一个软件框架，提供使用自定义策略组织、管理和访问大量科学数据的功能。数据可分布在全球不同位置和异构数据中心，将不同的存储和网络技术整合为单一联邦实体。Rucio提供分布式数据恢复、自适应复制等高级功能，且高度可扩展、模块化和可扩展。该框架最初为高能物理实验ATLAS开发，目前持续扩展以支持LHC实验及其他多样化的科学社区。

核心功能和特性

• 分布式数据管理：支持全球分布的异构数据中心，整合不同存储和网络技术
• 高级数据功能：提供分布式数据恢复、自适应复制等能力
• 高可扩展性：模块化设计，支持大规模科学数据场景
• 多数据库支持：兼容MySQL、PostgreSQL、Oracle和SQLite作为数据库后端
• 灵活配置：通过环境变量或挂载完整配置文件进行配置
• SSL支持：可启用SSL加密，需提供主机证书、密钥和CA证书
• 日志管理：支持日志输出到标准流或文件，可自定义日志级别和格式

使用场景和适用范围

适用于需要管理大规模科学数据的场景，特别是：

• 高能物理实验（如ATLAS、LHC）的数据管理
• 跨地域、跨机构的科学数据协作
• 对数据可靠性、可访问性和复制策略有严格要求的科研项目
• 需要整合异构存储资源的科学数据平台

详细使用方法和配置说明

文档和开发者信息

• 文档：通用信息和最新文档可在readthedocs或网站获取
• 贡献指南：关于如何为Rucio贡献代码，请参考并遵循CONTRIBUTING指南

快速开始

基本启动（无SSL）

启动一个使用SQLite的简单服务器（自动生成配置）：

bash
docker run \
  --name=rucio-server \
  -p 80:80 \
  rucio/rucio-server

检查服务器是否运行：

bash
curl http://localhost/ping

该命令应返回容器中使用的Rucio版本。注意：其他curl请求可能无法工作，因为此镜像需配合已初始化的数据库后端使用，需配置指向正确的数据库。

配置方法

Rucio配置管理有两种方式：使用环境变量或挂载完整的rucio.cfg文件。

使用环境变量配置数据库连接

通过RUCIO_CFG_DATABASE_DEFAULT环境变量设置数据库连接字符串。例如，连接运行在mysql.db的MySQL数据库：

bash
docker run \
  --name=rucio-server \
  -e RUCIO_CFG_DATABASE_DEFAULT="mysql://rucio:***/rucio" \
  -p 80:80 \
  rucio/rucio-server

挂载配置文件

直接挂载完整的rucio.cfg到容器中（将替代自动生成的配置）。例如，主机系统/tmp/rucio.cfg挂载到容器：

bash
docker run \
  --name=rucio-server \
  -v /tmp/rucio.cfg:/opt/rucio/etc/rucio.cfg \
  -p 80:80 \
  rucio/rucio-server

启用SSL

需设置RUCIO_ENABLE_SSL变量，并挂载主机证书、密钥和CA证书作为卷：

bash
docker run \
  --name=rucio-server \
  -v /tmp/ca.pem:/etc/grid-security/ca.pem \
  -v /tmp/hostcert.pem:/etc/grid-security/hostcert.pem \
  -v /tmp/hostkey.pem:/etc/grid-security/hostkey.pem \
  -v /tmp/rucio.cfg:/opt/rucio/etc/rucio.cfg \
  -p 443:443 \
  -e RUCIO_ENABLE_SSL=True \
  rucio/rucio-server

日志配置

默认Apache Web服务器输出直接写入stdout和stderr。如需输出到单独文件，使用RUCIO_ENABLE_LOGS变量，并挂载日志存储目录：

bash
docker run \
  --name=rucio-server \
  -v /tmp/rucio.cfg:/opt/rucio/etc/rucio.cfg \
  -v /tmp/logs:/var/log/httpd \
  -p 80:80 \
  -e RUCIO_ENABLE_LOGFILE=True \
  rucio/rucio-server

环境变量

通过docker run的-e参数传递环境变量可配置Rucio服务器，以下是可用变量及其说明：

RUCIO_SERVER_TYPE

• 用途：配置可用端点
• 取值：api、auth、trace、all
• 默认值：api

RUCIO_ENABLE_SSL

• 用途：启用SSL
• 说明：默认不启用（端口80）；启用时需挂载证书到/etc/grid-security，并暴露端口443
• 默认值：未设置（不启用）

RUCIO_CA_PATH

• 用途：指定SSL的SSLCACertificatePath和SSLCARevocationPath路径
• 适用场景：启用SSL时使用

RUCIO_CA_REVOCATION_CHECK

• 用途：设置SSLCARevocationCheck
• 默认值：chain

RUCIO_DEFINE_ALIASES

• 用途：自定义Web服务器别名集
• 说明：设为True时，需在/opt/rucio/etc/aliases.conf提供别名文件
• 默认值：未设置（使用默认别名）

RUCIO_ENABLE_LOGFILE

• 用途：控制日志输出位置
• 说明：设为True时，日志写入/var/log/httpd下的access_log和error_log；否则输出到stdout/stderr
• 默认值：未设置（输出到标准流）

RUCIO_LOG_LEVEL

• 用途：设置日志级别
• 默认值：info

RUCIO_LOG_FORMAT

• 用途：自定义Rucio日志格式
• 默认值：%h\t%t\t%{X-Rucio-Forwarded-For}i\t%T\t%D\t\"%{X-Rucio-Auth-Token}i\"\t%{X-Rucio-RequestId}i\t%{X-Rucio-Client-Ref}i\t\"%r\"\t%>s\t%b

RUCIO_HOSTNAME

• 用途：设置Apache配置中的服务器名称
• 默认值：未设置

RUCIO_HTTPD_ENCODED_SLASHES

• 用途：设置Apache的AllowEncodedSlashes，允许URL中包含编码的路径分隔符（如%2F）

RUCIO_SERVER_ADMIN

• 用途：设置Apache配置中的服务器管理员

RUCIO_WSGI_DAEMON_PROCESSES

• 用途：设置WSGI守护进程数量
• 默认值：4

RUCIO_WSGI_DAEMON_THREADS

• 用途：设置每个WSGI守护进程的线程数
• 默认值：4

RUCIO_HTTPD_MPM_MODE

• 用途：设置MPM模式
• 默认值：event

RUCIO_CFG配置参数

环境变量可用于设置自动生成的rucio.cfg的值，命名规则为RUCIO_CFG前缀加上配置文件中的节名和键名（如database节的default键对应RUCIO_CFG_DATABASE_DEFAULT）。可用环境变量包括：

• RUCIO_CFG_COMMON_LOGDIR
• RUCIO_CFG_COMMON_LOGLEVEL
• RUCIO_CFG_COMMON_MAILTEMPLATEDIR
• RUCIO_CFG_COMMON_MULTI_VO
• RUCIO_CFG_CREDENTIALS_GCS
• RUCIO_CFG_CREDENTIALS_SIGNATURE_LIFETIME
• RUCIO_CFG_DATABASE_DEFAULT
• RUCIO_CFG_DATABASE_ECHO
• RUCIO_CFG_DATABASE_MAX_OVERFLOW
• RUCIO_CFG_DATABASE_POOL_RECYCLE
• RUCIO_CFG_DATABASE_POOL_RESET_ON_RETURN
• RUCIO_CFG_DATABASE_POOL_SIZE
• RUCIO_CFG_DATABASE_POOL_TIMEOUT
• RUCIO_CFG_DATABASE_POWUSERACCOUNT
• RUCIO_CFG_DATABASE_POWUSERPASSWORD
• RUCIO_CFG_DATABASE_SCHEMA
• RUCIO_CFG_MONITOR_CARBON_PORT
• RUCIO_CFG_MONITOR_CARBON_SERVER
• RUCIO_CFG_MONITOR_USER_SCOPE
• RUCIO_CFG_NONGRID_TRACE_BROKERS
• RUCIO_CFG_NONGRID_TRACE_PASSWORD
• RUCIO_CFG_NONGRID_TRACE_PORT
• RUCIO_CFG_NONGRID_TRACE_TOPIC
• RUCIO_CFG_NONGRID_TRACE_TRACEDIR
• RUCIO_CFG_NONGRID_TRACE_USERNAME
• RUCIO_CFG_OIDC_ADMIN_ISSUER
• RUCIO_CFG_OIDC_EXPECTED_AUDIENCE
• RUCIO_CFG_OIDC_IDPSECRETS
• RUCIO_CFG_POLICY_LFN2PFN_ALGORITHM_DEFAULT
• RUCIO_CFG_POLICY_LFN2PFN_MODULE
• RUCIO_CFG_POLICY_PACKAGE
• RUCIO_CFG_POLICY_PERMISSION
• RUCIO_CFG_POLICY_SCHEMA
• RUCIO_CFG_POLICY_SUPPORT
• RUCIO_CFG_POLICY_SUPPORT_RUCIO
• RUCIO_CFG_TRACE_BROKERS
• RUCIO_CFG_TRACE_PASSWORD
• RUCIO_CFG_TRACE_PORT
• RUCIO_CFG_TRACE_TOPIC
• RUCIO_CFG_TRACE_TRACEDIR
• RUCIO_CFG_TRACE_USERNAME
• RUCIO_CFG_WEBUI_AUTH_ISSUER
• RUCIO_CFG_WEBUI_AUTH_TYPE
• RUCIO_CFG_WEBUI_USERCERT

获取支持

如需支持，请联系邮件列表***，或加入Slack支持频道。