radarbase/radar-jdbc-connector Docker 镜像 - 轩辕镜像

RADAR TimescaleDB Sink Connector 与 JDBC Connector

镜像概述和主要用途

该项目是基于Confluent Kafka JDBC连接器的增强版本，在原有功能基础上扩展了对TimescaleDB的支持，以及多表创建、模式管理和特定数据类型处理能力，旨在提供更灵活、高效的Kafka数据写入数据库解决方案。

核心功能和特性

• TimescaleDB支持：专门适配TimescaleDB数据库，优化时序数据写入性能
• 多createTable语句支持：允许配置多个表创建语句，可同时创建多张目标表
• 模式管理功能：支持在连接器配置中创建数据库模式，并自定义模式名称格式
• PostgreSQL数据类型支持：兼容PostgreSQL的TIMESTAMPTZ数据类型，确保带时区信息的时间戳正确存储

依赖组件：单消息转换插件

项目依赖RADAR-base/kafka-connect-transform-keyvalue插件，该插件在数据写入数据库前对Kafka记录进行转换处理：

• Docker环境：插件已集成到Dockerfile中，无需额外安装
• 手动安装：需将kafka-connect-transform-keyvalue插件部署至Confluent插件路径

使用场景和适用范围

适用于需要将Kafka流数据持久化到数据库的场景，特别适合：

• 时间序列数据存储（如IoT传感器数据、监控指标）
• 需要动态管理数据库表结构和模式的业务
• 基于PostgreSQL/TimescaleDB的实时数据处理 pipeline

安装要求

• Docker及docker-compose（最新版本）
• Java 8或更高版本（手动部署时需要）

使用方法和配置说明

配置文件准备

1. 复制配置模板：

   shell
   cp docker/sink-timescale.properties.template docker/sink-timescale.properties
   

2. 编辑配置文件：在sink-timescale.properties中填写数据库连接信息：
   • 数据库连接URL（如jdbc:postgresql://timescaledb:5432/dbname）
   • 数据库用户名
   • 数据库密码

启动服务

通过docker-compose启动完整Kafka服务栈（包含连接器）：

shell
docker-compose up -d --build

贡献指南

• 代码需遵循Google Java代码风格指南
• 功能开发或问题修复请参考项目issues，并提交Pull Request