Prometheus Hadoop HDFS FSimage Exporter Docker镜像

镜像概述

本镜像为Prometheus Hadoop HDFS FSimage Exporter的Docker化部署方案，旨在将Hadoop HDFS文件系统的FSimage元数据指标导出至Prometheus监控系统，助力用户实时监控HDFS的文件结构、存储分布等关键信息。

核心功能与特性

• FSimage指标导出：提取HDFS FSimage文件中的核心元数据，如文件总数、目录总数、块大小分布、副本数量等关键指标
• Prometheus集成：遵循Prometheus指标暴露规范，支持Prometheus服务端通过HTTP接口拉取指标
• 灵活配置：支持通过环境变量自定义JVM运行参数，适配不同规模HDFS集群的资源需求

使用场景与适用范围

• HDFS集群监控：适用于需要持续监控HDFS文件系统元数据变化的场景，如大型Hadoop集群运维
• 存储容量规划：通过分析FSimage指标，辅助管理员进行HDFS存储容量预测与资源优化
• Prometheus监控体系：作为Prometheus监控生态的组成部分，为HDFS提供标准化的指标采集能力

部署与使用方法

基本运行命令

通过以下命令启动Docker容器：

bash
docker run -i -t -p 9709:9709 -v <本地FSimage路径>:/path/to/fsimage -e "JAVA_OPTS=-server -XX:+UseG1GC -Xmx1024m" marcelmay/hadoop-hdfs-fsimage-exporter

参数说明：

• -p 9709:9709：端口映射，将容器内默认指标暴露端口9709映射至主机相同端口
• -v <本地FSimage路径>:/path/to/fsimage：挂载本地HDFS的FSimage文件路径至容器内，需替换<本地FSimage路径>为实际FSimage文件存放路径（如/hadoop/hdfs/nn/current/fsimage_0000000000000001234）
• -e "JAVA_OPTS=..."：设置JVM运行参数，示例中配置了G1垃圾收集器及1024MB最大堆内存，可根据集群规模调整（如-Xmx2048m）

环境变量配置

指标访问

容器启动后，Prometheus可通过http://<容器IP>:9709/metrics地址拉取HDFS FSimage指标。

更多信息

完整配置说明与高级用法请参考项目GitHub主页：marcelmay/hadoop-hdfs-fsimage-exporter