Sublime Security 摄入组件镜像文档

镜像概述

本镜像为 Sublime Security 安全分析平台的***摄入组件，负责安全数据的接收、预处理与标准化导入，是连接原始数据源与安全分析引擎的关键中间件。作为数据 pipeline 的首个环节，该组件确保各类异构安全数据（如日志、威胁情报、事件告警等）经过统一处理后，以结构化格式进入后续分析流程。

核心功能与特性

数据接入能力

• 支持多类型数据源：包括 API 接口（REST、GraphQL）、日志文件（JSON、CSV、syslog）、消息队列（Kafka、RabbitMQ）及云服务（AWS CloudWatch、Azure Monitor）等
• 原生适配常见安全设备：兼容防火墙、入侵检测系统（IDS）、终端检测与响应（EDR）工具的日志格式

数据预处理功能

• 数据清洗：自动过滤无效字段、修复格式错误及去重
• 格式转换：支持将非结构化/半结构化数据转换为 Sublime Security 标准数据模型
• 字段映射：可自定义字段映射规则，适配业务特定数据格式需求

系统特性

• 高可用性：支持集群部署，通过健康检查与自动恢复机制保障服务持续运行
• 可扩展性：基于容器化架构，支持横向扩展以应对数据量增长
• 低延迟处理：优化的数据处理引擎，确保近实时数据传输（典型延迟 < 500ms）

使用场景与适用范围

典型使用场景

• 企业安全监控：集中采集多部门、多系统的安全日志，构建统一监控视图
• 威胁检测支撑：为威胁检测引擎提供标准化、高质量的输入数据，提升检测准确性
• 安全事件响应：快速聚合事件相关数据，加速事件分析与溯源
• 合规审计：统一采集并存储合规相关日志，满足 GDPR、PCI-DSS 等合规要求

适用范围

• 中大型企业安全运营中心（SOC）
• Managed Security Service Providers（MSSP）
• 需要集中管理多源安全数据的组织或团队

使用方法与配置说明

基础使用（Docker Run）

bash
docker run -d \
  --name sublime-ingestion \
  -e DATA_SOURCE_TYPE="kafka" \
  -e KAFKA_BROKERS="kafka:9092" \
  -e KAFKA_TOPIC="security-logs" \
  -e OUTPUT_DESTINATION="sublime-engine:8080" \
  -v ./config:/app/config \
  sublimelabs/ingestion:latest

核心配置参数（环境变量）

高级配置（配置文件）

通过挂载配置文件实现精细化规则定义，配置文件路径为 /app/config/ingestion.yaml，示例结构：

yaml
sources:
  - type: kafka
    brokers: ["kafka-1:9092", "kafka-2:9092"]
    topic: "security-events"
    consumer_group: "sublime-ingestion"
    auto_offset_reset: "earliest"
  - type: file
    path: "/data/logs/*.log"
    format: "json"
    poll_interval: 30s

processing:
  filters:
    - exclude_fields: ["sensitive_field", "internal_id"]
    - include_patterns:
        event_type: ["alert", "threat"]
  transformations:
    - field: "timestamp"
      action: "convert"
      target_format: "ISO8601"

output:
  destination: "[***]"
  retry_policy:
    max_attempts: 3
    backoff_delay: 5s

Docker Compose 示例

yaml
version: "3.8"
services:
  ingestion:
    image: sublimelabs/ingestion:latest
    container_name: sublime-ingestion
    restart: always
    environment:
      - DATA_SOURCE_TYPE="kafka"
      - LOG_LEVEL="info"
      - PROCESSING_THREADS="4"
    volumes:
      - ./ingestion-config:/app/config
      - ./logs:/data/logs
    depends_on:
      - kafka
      - sublime-engine
    networks:
      - security-network

networks:
  security-network:
    driver: bridge

注意事项

• 首次部署需确保目标 Sublime Security 引擎已启动并配置正确的 API 访问权限
• 大规模部署建议通过 Kubernetes 进行编排，配合 HPA（Horizontal Pod Autoscaler）实现动态扩缩容
• 敏感数据源配置（如 API 密钥、数据库密码）建议通过 Docker Secrets 或环境变量加密管理
• 定期备份配置文件，避免因容器重建导致规则丢失