CI/CD 统计数据收集镜像文档

镜像概述和主要用途

概述

轻量级Docker镜像，专注于CI/CD流程中的统计数据采集与处理。通过自动化方式从主流CI/CD平台收集关键指标，提供数据支持以监控流水线健康状态，助力团队优化构建效率与稳定性。

主要用途

• 采集CI/CD全流程（构建、测试、部署）的核心性能指标
• 支持多平台数据整合与分析
• 为DevOps团队提供可视化与优化依据

核心功能和特性

核心功能

• 全流程指标采集：自动收集构建时长、成功率、失败原因分类、资源消耗（CPU/内存）、并发任务数等关键指标
• 多平台兼容：原生支持Jenkins、GitLab CI、GitHub Actions、Azure DevOps等主流CI/CD工具
• 灵活数据存储：支持本地文件系统、PostgreSQL、MySQL、SQLite等多种数据持久化方案
• 数据导出能力：支持CSV/JSON文件导出、Prometheus监控集成、第三方API推送

特性

• 轻量化设计：基于Alpine Linux构建，镜像体积<50MB
• 低资源占用：运行时CPU占用<5%，内存占用<64MB
• 可配置采集策略：支持实时监听或定时轮询模式
• 高扩展性：提供插件接口，支持自定义指标采集规则

使用场景和适用范围

适用场景

• CI/CD流水线性能瓶颈分析
• 构建失败率根因定位
• 资源消耗趋势监控（如构建服务器负载）
• 团队间流水线效率对比分析
• 构建流程优化效果验证

适用范围

• 中小型开发团队的CI/CD流程监控
• DevOps工程师的流水线性能调优
• 企业级DevOps平台的 metrics 采集组件
• 需要提升构建稳定性的技术组织

使用方法和配置说明

快速启动（Docker Run）

bash
docker run -d \
  --name cicd-stats-collector \
  -e CI_PROVIDER=github-actions \
  -e DATA_STORAGE_PATH=/data \
  -e COLLECTION_INTERVAL=30 \
  -e API_KEY=your_github_pat \
  -v /host/cicd-stats:/data \
  -p 8080:8080 \
  cicd-stats-collector:latest

Docker Compose 配置示例

yaml
version: '3.8'
services:
  stats-collector:
    image: cicd-stats-collector:latest
    container_name: cicd-stats
    restart: always
    environment:
      - CI_PROVIDER=gitlab-ci
      - DB_CONNECTION_STRING=postgresql://stats_user:stats_pass@db:5432/cicd_stats
      - COLLECTION_INTERVAL=45
      - LOG_LEVEL=info
      - API_KEY=your_gitlab_api_token
      - PROMETHEUS_EXPORTER=true
    volumes:
      - ./local-backup:/data/backup
    ports:
      - "8080:8080"  # API端口
      - "9090:9090"  # Prometheus metrics端口
    depends_on:
      - db

  db:
    image: postgres:15-alpine
    container_name: cicd-stats-db
    restart: always
    environment:
      - POSTGRES_USER=stats_user
      - POSTGRES_PASSWORD=stats_pass
      - POSTGRES_DB=cicd_stats
    volumes:
      - postgres-data:/var/lib/postgresql/data
    ports:
      - "5432:5432"

volumes:
  postgres-data:

核心配置参数说明

数据访问与导出

文件导出

默认存储路径：${DATA_STORAGE_PATH}/metrics/[yyyyMMdd].${EXPORT_FORMAT}
示例（CSV格式）：

timestamp,job_id,status,duration_seconds,resource_cpu_usage,resource_memory_mb
20231026T***,build-123,success,125,0.8,450
20231026T***,test-456,failed,89,0.6,320

API访问

启动时映射端口（如 -p 8080:8080），通过以下端点获取数据：

• GET /api/v1/metrics：获取最近24小时汇总指标（JSON）
• GET /api/v1/export?start=20231001&end=20231031：指定日期范围导出数据

Prometheus集成

启用后自动暴露指标接口：http://<container-ip>:9090/metrics，包含指标如：

• cicd_build_success_count{job="backend"} 156
• cicd_build_duration_seconds_avg{job="frontend"}=87.3

注意事项

1. 权限配置：

   • 本地存储模式需确保挂载目录有读写权限（建议设置权限 chmod 775 /host/cicd-stats）
   • 数据库模式需提前创建数据库并配置用户权限

2. API密钥安全：

   • 敏感环境变量建议通过Docker Secrets或环境变量文件注入，避免明文暴露

3. 性能调优：

   • 高频流水线（>10次/小时）建议设置 COLLECTION_INTERVAL=10-30
   • 低频次流水线建议设置 COLLECTION_INTERVAL=300-900 以减少资源消耗

4. 数据清理：

   • 默认保留90天历史数据，可通过 MAX_DATA_RETENTION_DAYS 环境变量调整（如 MAX_DATA_RETENTION_DAYS=30）