clickhouse-bulk 镜像文档

镜像概述与主要用途

clickhouse-bulk 是 nikepan/clickhouse-bulk 项目的*** Docker 镜像。其核心功能是收集小批量插入请求，并将其合并为大批量请求发送至 ClickHouse 服务器，以优化数据写入性能。

核心功能和特性

• 将多个请求分组后发送至任意 ClickHouse 服务器
• 按时间间隔发送收集到的数据
• 已针对 VALUES 和 TabSeparated 格式进行测试
• 支持向多个 ClickHouse 服务器发送请求
• 支持在查询参数或请求体中包含查询语句
• 支持用户名、密码、数据库等查询参数
• 支持基础认证

使用场景与适用范围

适用于需要处理大量小批量插入请求的场景（如日志收集、实时数据写入等），通过合并请求减少 ClickHouse 服务器的小插入压力，提升整体写入效率。

使用方法与配置说明

Docker 运行示例

bash
docker run -e "CLICKHOUSE_SERVERS=[***]" -p 8124:8124 clickhouse-bulk

Docker Compose 配置示例

yaml
clickhouse-bulk:
  image: clickhouse-bulk
  ports:
    - "8124:8124"
  environment:
    - CLICKHOUSE_SERVERS=[***]  # 替换为实际 ClickHouse 服务器地址

环境变量说明

监控指标

可通过以下命令手动检查核心指标：

bash
curl -s [***] | grep "^ch_"

主要指标说明：

• ch_bad_servers 0 - 当前不可用服务器数量
• ch_dump_count 0 - 自启动以来保存的本地缓存数据文件数
• ch_queued_dumps 0 - 当前目录中待发送的缓存数据文件数
• ch_good_servers 1 - 当前可用服务器数量
• ch_received_count 40 - 自启动以来接收的请求总数
• ch_sent_count 1 - 自启动以来发送的请求总数

使用提示

为获得更好的性能，SQL 语句中的 FORMAT 和 VALUES 关键字必须大写。