ES Curator Docker镜像文档

镜像概述和主要用途

ES Curator是Elasticsearch***推荐的索引管理工具，旨在简化Elasticsearch索引的日常维护任务。该Docker镜像封装了ES Curator工具，可直接用于执行索引创建、删除、优化、别名管理等操作，支持通过配置文件定义复杂操作策略，特别适合需要自动化索引生命周期管理的场景，帮助用户高效维护Elasticsearch集群性能和存储空间。

核心功能和特性

• 索引生命周期管理：支持创建、删除、关闭、打开索引，可按时间戳或名称模式（如logstash-%Y.%m.%d）筛选目标索引
• 索引性能优化：提供索引段合并（forcemerge）、刷新（flush）、刷新（refresh）等操作，提升查询性能
• 索引别名管理：支持为索引添加/移除别名，实现索引无缝切换（如通过别名指向最新时序索引）
• 灵活筛选机制：通过正则表达式、日期范围、索引状态等多维度筛选目标索引
• 策略配置化：通过YAML配置文件定义多步骤操作序列（actions），支持任务编排
• 自动化集成：可与Cron等定时任务工具结合，实现周期性索引管理（如每日清理过期日志）
• 安全支持：兼容Elasticsearch基本认证、TLS加密连接，保障集群访问安全

使用场景和适用范围

典型使用场景

• 日志数据管理：在ELK/EFK Stack中自动删除30天前的logstash-*索引，释放存储空间
• 时序数据轮换：按小时/天创建新索引（如metrics-%Y%m%d%H），并退役旧索引
• 集群性能维护：定期合并大索引段，减少碎片，提升查询响应速度
• 索引版本控制：通过别名（如current-metrics）管理不同版本索引，实现平滑升级

适用范围

• Elasticsearch 5.x、6.x、7.x、8.x版本集群
• 需要自动化索引操作的DevOps、SRE工作流
• 中小规模到大规模Elasticsearch集群的日常维护

使用方法和配置说明

1. 获取镜像

从Docker Hub拉取维护的ES Curator镜像（具体版本请参考镜像仓库）：

bash
docker pull elasticsearch/curator:latest

2. 基本使用方式

ES Curator支持两种操作模式：命令行模式（适合简单操作）和配置文件模式（适合复杂策略）。

2.1 命令行模式（单次操作）

直接通过docker run执行索引删除操作（示例：删除7天前的logstash-*索引）：

bash
docker run --rm elasticsearch/curator:latest \
  --host elasticsearch-cluster \  # Elasticsearch主机地址
  --port 9200 \                   # Elasticsearch端口
  --user elastic:changeme \       # 认证信息（如启用）
  delete indices \                # 操作类型：删除索引
  --filter_list '[{"filtertype":"pattern","kind":"prefix","value":"logstash-"},{"filtertype":"age","source":"creation_date","direction":"older","unit":"days","unit_count":7}]'

2.2 配置文件模式（复杂策略）

通过YAML配置文件定义客户端连接参数和操作策略，支持多步骤任务编排。

步骤1：创建配置文件

创建curator.yml（客户端配置）和action.yml（操作策略）：

curator.yml（客户端连接配置）：

yaml
client:
  hosts:
    - elasticsearch-cluster  # Elasticsearch集群地址（支持多个）
  port: 9200
  timeout: 30                # 连接超时时间（秒）
  ssl:                       # 如启用TLS，添加以下配置
    certificate_authority: /etc/curator/ca.pem
logging:
  loglevel: INFO             # 日志级别：DEBUG/INFO/WARNING/ERROR
  logfile: /var/log/curator/curator.log  # 日志文件路径

action.yml（操作策略示例：删除7天前日志索引+优化3天内索引）：

yaml
actions:
  1:  # 步骤1：删除7天前的logstash索引
    action: delete_indices
    description: "删除7天前创建的logstash-*索引"
    options:
      ignore_empty_list: True  # 无匹配索引时不报错
      timeout_override: 300    # 操作超时时间（秒）
    filters:
      - filtertype: pattern
        kind: prefix
        value: logstash-       # 匹配前缀为logstash-的索引
      - filtertype: age
        source: creation_date  # 基于索引创建时间筛选
        direction: older
        unit: days
        unit_count: 7          # 保留7天内的索引

  2:  # 步骤2：优化3天内的logstash索引
    action: forcemerge
    description: "合并3天内logstash索引段，提升性能"
    options:
      max_num_segments: 1      # 合并为1个段
      ignore_empty_list: True
    filters:
      - filtertype: pattern
        kind: prefix
        value: logstash-
      - filtertype: age
        source: creation_date
        direction: younger
        unit: days
        unit_count: 3          # 仅优化3天内的索引

步骤2：挂载配置文件并执行

将本地配置文件挂载到容器内，执行策略：

bash
docker run --rm \
  -v $(pwd)/curator.yml:/etc/curator/curator.yml \  # 客户端配置
  -v $(pwd)/action.yml:/etc/curator/action.yml \    # 操作策略
  -v $(pwd)/logs:/var/log/curator \                 # 日志目录（可选）
  elasticsearch/curator:latest \
  --config /etc/curator/curator.yml \               # 指定客户端配置
  /etc/curator/action.yml                           # 指定操作策略文件

3. 环境变量配置

容器支持通过环境变量覆盖客户端配置（优先级：环境变量 > curator.yml）：

4. 定时任务集成

通过Cron实现每日自动执行索引清理（示例：每天凌晨3点执行）：

1. 创建Cron任务文件（/etc/cron.d/curator）：

   bash
   0 3 * * * root docker run --rm \
     -v /opt/curator/config:/etc/curator \
     -v /opt/curator/logs:/var/log/curator \
     elasticsearch/curator:latest \
     --config /etc/curator/curator.yml \
     /etc/curator/action.yml >> /opt/curator/logs/cron.log 2>&1
   

2. 重启Cron服务使配置生效：

   bash
   systemctl restart cron
   

注意事项

• 测试验证：操作前建议添加--dry-run参数执行模拟操作（如docker run ... delete indices --dry-run），避免误删索引
• 网络访问：确保容器网络可访问Elasticsearch集群（配置正确的hosts和端口，开放防火墙规则）
• 敏感信息：认证密码等敏感信息建议通过环境变量或Docker Secrets传递，避免硬编码在配置文件中
• 版本兼容性：选择与Elasticsearch集群版本匹配的Curator版本（参考***版本兼容表）