Kafka Docker镜像文档

镜像概述和主要用途

本镜像提供在Docker中运行Kafka的完整解决方案，集成Zookeeper，解决了Kafka依赖Zookeeper的部署难题。相比其他Kafka Docker镜像，本镜像将Zookeeper和Kafka集成在同一容器中，无需外部Zookeeper主机或链接其他容器，开箱即可使用。同时包含一个代理组件，可用于从 legacy Kafka 7集群同步数据到Docker化的Kafka 8。

核心功能和特性

• 集成Zookeeper：无需外部Zookeeper依赖，同一容器内运行Zookeeper和Kafka
• 开箱即用：Zookeeper和Kafka预配置为协同工作状态
• 代理功能：提供从Kafka 7集群同步数据到Kafka 8的代理组件
• 环境变量配置：支持通过环境变量灵活配置Kafka参数

使用场景和适用范围

• 需要在Docker环境中快速部署Kafka的开发/测试场景
• 无需单独管理Zookeeper的简化部署需求
• 需要从Kafka 7集群迁移或同步数据到Kafka 8的场景

使用方法和配置说明

运行Kafka

启动容器

bash
docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=`docker-machine ip \`docker-machine active\`` --env ADVERTISED_PORT=9092 ripplemotion/kafka

环境变量说明：

• ADVERTISED_HOST：Kafka对外暴露的主机地址
• ADVERTISED_PORT：Kafka对外暴露的端口

启动生产者

bash
export KAFKA=`docker-machine ip \`docker-machine active\``:9092
kafka-console-producer.sh --broker-list $KAFKA --topic test

设置Kafka地址并启动控制台生产者，向test主题发送消息

启动消费者

bash
export ZOOKEEPER=`docker-machine ip \`docker-machine active\``:2181
kafka-console-consumer.sh --zookeeper $ZOOKEEPER --topic test

设置Zookeeper地址并启动控制台消费者，从test主题接收消息

运行代理

代理镜像继承了ripplemotion/kafka的所有参数，并新增以下参数：

• CONSUMER_THREADS：消费源Kafka 7的线程数
• TOPICS：需要同步的主题白名单（逗号分隔）
• ZK_CONNECT：源Kafka 7的Zookeeper连接字符串
• GROUP_ID：消费Kafka 7时使用的group.id

启动代理容器

bash
docker run -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_HOST=`boot2docker ip` \
    --env ADVERTISED_PORT=9092 \
    --env CONSUMER_THREADS=1 \
    --env TOPICS=my-topic,some-other-topic \
    --env ZK_CONNECT=kafka7zookeeper:2181/root/path \
    --env GROUP_ID=mymirror \
    ripplemotion/kafkaproxy

镜像组成

ripplemotion/kafka

包含Kafka和Zookeeper的Docker镜像，从kafka目录构建。

ripplemotion/kafkaproxy

包含Kafka、Zookeeper和Kafka 7代理的Docker镜像，可配置需要同步的主题列表，从kafkaproxy目录构建。

公共构建地址

• ripplemotion/kafka
• ripplemotion/kafkaproxy

从源码构建

bash
docker build -t ripplemotion/kafka kafka/
docker build -t ripplemotion/kafkaproxy kafkaproxy/

待优化项

• 启动时间未优化
• 文档需进一步完善