sidekick 高性能边车负载均衡器

sidekick 是一款高性能边车（sidecar）负载均衡器。通过将轻量级负载均衡器作为边车附加到每个客户端应用进程，可消除集中式负载均衡器瓶颈和DNS故障转移管理。sidekick 通过就绪API和HTTP错误返回检查服务器健康状态，自动避免将流量发送到故障服务器。

!architecture

演示 !sidekick-demo

核心功能与特性

• 边车部署模式：作为客户端应用进程的边车容器运行，贴近应用层提供负载均衡
• 自动故障检测：通过健康检查路径（如/minio/health/ready）和HTTP错误返回识别故障服务器
• 多站点容灾：支持多站点配置，当主站点所有服务器故障时自动切换到备用站点
• 高性能：轻量级设计，低资源占用，无额外性能开销
• 健康检查机制：可配置健康检查路径和间隔时间，默认每5秒检查一次
• TLS支持：可禁用TLS证书验证（--insecure选项）以适应内部环境
• 日志与追踪：支持日志输出、HTTP追踪及JSON格式日志，便于监控和调试
• S3缓存集成：支持配置S3兼容对象存储作为共享缓存，提升热点数据访问性能

使用场景

• 分布式服务负载均衡：为Web服务、API服务等分布式应用提供本地负载均衡
• 对象存储访问优化：与MinIO等对象存储配合，优化客户端访问性能和可靠性
• Kubernetes环境边车：作为K8s Pod中的边车容器，为Spark、Flink等计算框架提供服务发现和负载均衡
• 多站点容灾部署：跨数据中心或可用区的服务部署，实现站点级故障自动转移
• 大数据处理加速：在Spark等大数据作业中作为MinIO客户端的本地负载均衡器，提升数据读写效率

安装

Docker

拉取最新版本镜像：

bash
docker pull minio/sidekick

使用方法

命令行参数

USAGE:
  sidekick [FLAGS] SITE1 [SITE2..]

FLAGS:
  --address value, -a value          监听地址 (默认: ":8080")
  --health-path value, -p value      健康检查路径
  --health-duration value, -d value  健康检查间隔（秒） (默认: 5)
  --insecure, -i                     禁用TLS证书验证
  --log , -l                         启用日志
  --trace, -t                        启用HTTP追踪
  --quiet                            禁用控制台消息
  --json                             以JSON格式输出日志和追踪
  --debug                            输出详细追踪日志
  --help, -h                         显示帮助信息
  --version, -v                      打印版本信息

SITE:
每个SITE是用逗号分隔的同一站点的服务器组，例如：[***]{2...5},[***]{6...9}
当SITE1中所有服务器均故障时，流量将路由到下一个站点（如SITE2）。多个站点之间用空格分隔。

使用示例

基于DNS解析IP的Web服务负载均衡

bash
sidekick --health-path=/ready [***]

4个MinIO服务器负载均衡（[] 至 []

bash
sidekick --health-path=/minio/health/ready --address :8000 [***]{1...4}:9000

两个站点（每个站点4台服务器）

bash
sidekick --health-path=/minio/health/ready [***]{1...4}:9000 [***]{1...4}:9000

实际案例：与Spark Orchestrator集成

在Kubernetes环境中，将sidekick作为Spark Driver和Executor的边车容器，为MinIO分布式集群提供本地负载均衡。

前提条件

• Kubernetes集群
• Spark Operator（GCP维护版本）
• MinIO分布式集群

配置Spark Orchestrator

bash
# 创建命名空间（可选）
kubectl create ns spark-operator

# 添加Helm仓库并安装Spark Operator
helm repo add incubator [***]
helm install spark-operator incubator/sparkoperator --namespace spark-operator --set sparkJobNamespace=spark-operator --set enableWebhook=true

安装MinIO分布式集群

bash
helm install minio-distributed stable/minio --namespace spark-operator \
  --set accessKey=minio,secretKey=minio123 \
  --set persistence.enabled=false,mode=distributed

注意：测试环境中禁用了持久化，生产环境需使用PV启用持久化存储。详细配置参见MinIO Helm文档。

在K8s中运行Spark作业

创建Spark作业配置文件spark-job.yaml：

yaml
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-minio-app
  namespace: spark-operator
spec:
  sparkConf:
    spark.kubernetes.allocation.batch.size: "50"
  hadoopConf:
    "fs.s3a.endpoint": "[***]"
    "fs.s3a.access.key": "minio"
    "fs.s3a.secret.key": "minio123"
    "fs.s3a.path.style.access": "true"
    "fs.s3a.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem"
  type: Scala
  sparkVersion: 2.4.5
  mode: cluster
  image: minio/spark:v2.4.5-hadoop-3.1
  imagePullPolicy: Always
  restartPolicy:
      type: OnFailure
      onFailureRetries: 3
      onFailureRetryInterval: 10
      onSubmissionFailureRetries: 5
      onSubmissionFailureRetryInterval: 20

  mainClass: org.apache.spark.examples.JavaWordCount
  mainApplicationFile: "local:///opt/spark/examples/target/original-spark-examples_2.11-2.4.6-SNAPSHOT.jar"
  arguments:
  - "s3a://mytestbucket/mydata"
  driver:
    cores: 1
    coreLimit: "1000m"
    memory: "512m"
    labels:
      version: 2.4.5
    sidecars:
    - name: minio-lb
      image: "minio/sidekick:v0.5.8"
      imagePullPolicy: Always
      args: ["--health-path", "/minio/health/ready", "--address", ":9000", "[***]{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
      ports:
        - containerPort: 9000

  executor:
    cores: 1
    instances: 4
    memory: "512m"
    labels:
      version: 2.4.5
    sidecars:
    - name: minio-lb
      image: "minio/sidekick:v0.5.8"
      imagePullPolicy: Always
      args: ["--health-path", "/minio/health/ready", "--address", ":9000", "[***]{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
      ports:
        - containerPort: 9000

提交作业并查看日志：

bash
kubectl create -f spark-job.yaml
kubectl logs -f --namespace spark-operator spark-minio-app-driver spark-kubernetes-driver

高性能S3缓存配置

sidekick支持配置S3兼容对象存储作为共享缓存，提升热点数据访问性能。缓存通过环境变量配置，适用于需要共享缓存的分布式应用场景。

缓存配置环境变量

K8s中配置S3缓存的Spark作业示例

yaml
# 部分配置（完整配置参考上文Spark作业示例，仅展示sidecar部分差异）
sidecars:
- name: minio-lb
  image: "minio/sidekick:v0.5.8"
  imagePullPolicy: Always
  args: ["--health-path", "/minio/health/ready", "--address", ":9000", "[***]{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
  env:
   - name: SIDEKICK_CACHE_ENDPOINT
     value: "[***]"
   - name: SIDEKICK_CACHE_ACCESS_KEY
     value: "minio"
   - name: SIDEKICK_CACHE_SECRET_KEY
     value: "minio123"
   - name: SIDEKICK_CACHE_BUCKET
     value: "cache01"
   - name: SIDEKICK_CACHE_MIN_SIZE
     value: "32MiB"
   - name: SIDEKICK_CACHE_HEALTH_DURATION
     value: "20"
  ports:
    - containerPort: 9000

S3缓存特性

• 零内存开销：GET请求同时流式传输到应用和S3缓存，无需额外内存缓存
• 缓存验证：已缓存对象通过ETag和LastModified验证新鲜度，支持Cache-Control头策略
• 部分请求处理：不缓存带Range头的GET请求，保持代码简洁高效
• 健康检查：定期检查缓存存储桶可用性，确保缓存层可靠性
• RFC 7234兼容：遵循HTTP缓存规范，支持标准缓存控制策略