Pulsar Heartbeat 镜像文档

镜像概述和主要用途

Pulsar Heartbeat是一款云原生应用，用于监控Pulsar集群的可用性，跟踪消息发布订阅延迟，并报告集群故障。它通过生成合成工作负载来测量端到端消息发布订阅延迟，支持在Kubernetes集群中通过Helm安装，适用于Pulsar集群的运维监控和性能评估。

核心功能和特性

• 监控Pulsar admin REST API端点
• 测量消息从生产到消费的端到端延迟
• 支持自定义 payload 大小和消息数量生成消息列表以进行延迟测量
• 计算消息列表的平均延迟
• 检测生成消息的乱序交付情况
• 通过WebSocket接口测量单条消息延迟
• 测量Pulsar Function生成的消息延迟
• 监控Kubernetes集群中Broker、Proxy、BookKeeper和ZooKeeper的实例可用性
• 监控单个Pulsar Broker的健康状态
• 通过OpsGenie发送事件告警，支持自动清除和去重
• 支持Slack告警
• 可配置告警阈值和探测测试间隔
• 跟踪分析和使用情况
• 支持OpsGenie的"Dead Man's Snitch"心跳监控
• 监控多个Pulsar集群（不包含Kubernetes Pod监控）
• 支持在同一Pulsar Kubernetes集群内共驻部署

使用场景和适用范围

适用于需要对Pulsar集群进行实时监控的场景，包括：

• Pulsar集群健康状态监控（Broker、Proxy等组件可用性）
• 消息发布订阅性能评估（延迟测量、乱序检测）
• 多集群统一监控
• Kubernetes环境下的Pulsar集群集成监控
• 自动化告警和故障报告

详细使用方法和配置说明

配置文件

Pulsar Heartbeat通过YAML或JSON配置文件驱动，配置文件优先级顺序为：

1. 环境变量 PULSAR_OPS_MONITOR_CFG
2. 命令行参数 ./pulsar-heartbeat -config /path/to/config.yml
3. 默认路径 ../config/runtime.yml

配置文件模板可参考 runtime-template.yml。

可观测性

工具在 /metrics 端点暴露符合Prometheus规范的指标，可供采集，指标如下：

集群内监控

Pulsar Heartbeat可部署在同一Pulsar Kubernetes集群内，仅在此部署模式下支持Kubernetes监控和单个Broker监控。

Docker使用

***镜像

***Docker镜像可从 Docker Hub 获取。

Docker Compose

bash
$ docker-compose up

Docker运行示例

需将配置文件挂载到默认路径 /config/runtime.yml，以下命令启动容器并暴露Prometheus指标端口：

bash
$ docker run -d -it -v $HOME/go/src/github.com/datastax/pulsar-heartbeat/config/runtime-astra.yml:/config/runtime.yml -p 8080:8080 --name=pulsar-heartbeat datastax/pulsar-heartbeat:latest

Helm Chart部署

支持Helm 3版本，可通过以下方式安装：

作为Pulsar集群一部分安装

可在 Pulsar Helm Chart 中配置启用。

作为DataStax Pulsar集群一部分安装

可直接在 DataStax Pulsar Chart 中启用。

开发构建（可选）

源码构建

运行以下脚本构建应用、执行静态分析、单元测试，并生成二进制文件：

bash
$ ./scripts/ci.sh

构建Docker镜像

通过多阶段构建生成Docker镜像：

bash
$ make