Trace Anonymizer Docker镜像文档

镜像概述和主要用途

本Docker镜像提供了一个轻量级的跟踪数据化工具，旨在对各类跟踪信息（如分布式系统跟踪日志、性能监控轨迹等）进行自动化化处理。通过移除或脱敏其中的敏感数据（如个人标识、设备信息、IP地址等），在保护用户隐私和数据合规性的同时，保留跟踪数据的结构完整性和分析价值，适用于开发测试、数据分析、合规审计等场景。

核心功能和特性

• 多格式支持：兼容主流跟踪数据格式，包括OpenTelemetry traces、Jaeger traces、Zipkin traces等。
• 可配置*策略**：支持自定义敏感字段处理规则，包括替换（固定值替换敏感字段）、掩码（部分字符替换为掩码符号如***）、哈希（SHA-256等算法哈希处理）等策略。
• 高效处理能力：支持批量处理大型跟踪文件，低内存占用，处理延迟<100ms/MB。
• 结构完整性保留：***化后的数据保持原格式结构，不影响下游分析工具（如APM系统、日志平台）的解析。
• 轻量级部署：基于Alpine Linux构建，镜像体积<50MB，支持多架构（amd64/arm64）。

使用场景和适用范围

• 开发测试环境：在使用生产环境跟踪数据进行调试时，通过***化去除敏感信息，避免隐私泄露。
• 数据分析场景：处理包含用户行为的跟踪日志时，***化敏感字段后用于性能瓶颈分析、系统优化等。
• 合规审计：满足GDPR、CCPA等数据隐私***要求，对需存档或共享的跟踪数据进行合规性处理。
• 第三方数据共享：与合作伙伴共享跟踪数据前，通过***化确保不泄露核心业务或用户隐私信息。

详细使用方法和配置说明

前置要求

• Docker Engine 19.03+
• 目标跟踪数据文件（本地文件或通过卷挂载访问）

镜像获取

bash
docker pull trace-anonymizer:latest

基础使用示例

1. 单文件***化（命令行参数模式）

对本地traces.json文件（Jaeger格式）进行***化，敏感字段user_id采用哈希策略，输出至anonymized_traces.json：

bash
docker run --rm \
  -v $(pwd):/data \
  trace-anonymizer:latest \
  --input /data/traces.json \
  --output /data/anonymized_traces.json \
  --format jaeger \
  --strategy hash \
  --sensitive-fields user_id,ip_address

2. 批量目录处理（环境变量配置模式）

通过环境变量预设***策略，批量处理目录下所有OpenTelemetry格式跟踪文件：

bash
docker run --rm \
  -v $(pwd)/input:/input \  # 输入目录（存放待处理跟踪文件）
  -v $(pwd)/output:/output \  # 输出目录（存放***化后文件）
  -e INPUT_FORMAT=opentelemetry \
  -e ANONYMIZATION_STRATEGY=mask \  # 全局默认策略：掩码
  -e SENSITIVE_FIELDS=user_id,device_id,email \  # 需处理的敏感字段列表
  trace-anonymizer:latest \
  --input-dir /input \  # 指定批量处理目录
  --output-dir /output

docker-compose配置示例

yaml
version: '3.8'
services:
  trace-anonymizer:
    image: trace-anonymizer:latest
    volumes:
      - ./traces:/input  # 挂载本地跟踪数据目录
      - ./anonymized:/output  # 挂载***化结果输出目录
    environment:
      - INPUT_FORMAT=opentelemetry
      - ANONYMIZATION_STRATEGY=replace
      - REPLACE_VALUE=anonymous  # 替换策略的默认替换值
      - SENSITIVE_FIELDS=trace.id,span.id,client.ip  # 自定义敏感字段
    command: --input-dir /input --output-dir /output --log-level info  # 启用信息级日志

核心配置参数说明

命令行参数

环境变量

自定义配置文件示例

通过JSON配置文件定义多字段差异化策略（优先级高于命令行和环境变量）：

json
{
  "input_format": "opentelemetry",
  "fields": [
    {"name": "user_id", "strategy": "hash", "salt": "trace-salt-456"},
    {"name": "ip_address", "strategy": "mask", "mask_char": "x", "mask_length": 4},  // 保留最后4位，如`xxx.xxx.xxx.123`
    {"name": "email", "strategy": "replace", "value": "***"}
  ],
  "log_level": "debug"
}

使用自定义配置文件运行：

bash
docker run --rm \
  -v $(pwd)/config.json:/etc/anonymizer/config.json \
  -v $(pwd)/trace.json:/input/trace.json \
  -v $(pwd)/output:/output \
  trace-anonymizer:latest \
  --input /input/trace.json \
  --output /output/anonymized.json \
  --config /etc/anonymizer/config.json