AWS Fluent Bit Docker 镜像文档

1. 镜像概述和主要用途

AWS Fluent Bit 镜像是由 AWS ***维护的 Docker 镜像，基于轻量级日志收集器 Fluent Bit 构建，并集成了 AWS 服务专用插件。该镜像旨在简化容器环境（如 Amazon ECS、Amazon EKS、Docker 主机等）中日志数据的收集、处理和转发，支持将日志无缝发送至 Amazon CloudWatch Logs、Amazon Kinesis Data Firehose、Amazon S3 等 AWS 服务，满足日志集中管理、监控和分析需求。

2. 核心功能和特性

2.1 核心功能

• 日志收集：支持从文件、标准输出、容器运行时（如 Docker、Containerd）等多种源收集日志。
• 日志处理：提供过滤、解析、转换等日志处理能力，支持 JSON、CSV 等格式解析。
• AWS 服务集成：通过专用插件直接将日志转发至 Amazon CloudWatch Logs、Kinesis Data Streams、Kinesis Data Firehose、S3 等 AWS 服务。

2.2 关键特性

• 轻量级：基于 Fluent Bit 构建，资源占用低（内存占用通常低于 10MB），适合容器化环境。
• AWS 认证集成：支持通过 IAM 角色（如 ECS 任务角色、EKS 服务账户角色）或访问密钥自动完成 AWS 服务认证，无需手动配置密钥。
• ***维护：由 AWS 团队持续更新，确保与 Fluent Bit 新版本及 AWS 服务 API 的兼容性。
• 多平台支持：支持 Linux/amd64、Linux/arm64 等主流架构，适配各类容器运行环境。

3. 使用场景和适用范围

3.1 主要使用场景

• 容器日志转发：在 Amazon ECS、Amazon EKS、Docker Swarm 等容器编排平台中，收集容器标准输出日志或文件日志，并发送至 CloudWatch Logs 进行集中存储与监控。
• AWS 环境日志集中管理：将 EC2 实例、ECS 任务、EKS 集群中的应用日志统一收集，通过 Kinesis Data Firehose 流式传输至 S3 进行长期归档，或发送至 Elasticsearch Service 进行日志分析。
• 微服务架构日志处理：在微服务环境中，通过 Fluent Bit 的过滤和解析能力，对分散的服务日志进行结构化处理，再转发至 AWS 分析服务（如 Amazon OpenSearch Service）。

3.2 适用范围

• 运行 Docker 容器的环境（物理机、虚拟机、云实例）。
• Amazon ECS、Amazon EKS 容器集群。
• 需要将日志发送至 AWS 服务（CloudWatch Logs、Kinesis、S3 等）的场景。

4. 使用方法和配置说明

4.1 快速启动

4.1.1 通过 docker run 启动

bash
docker run -d \
  --name aws-fluent-bit \
  -v /var/log:/var/log:ro \  # 挂载主机日志目录（只读）
  -v $(pwd)/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro \  # 挂载自定义配置文件
  -e AWS_REGION=us-east-1 \  # 设置 AWS 区域
  public.ecr.aws/aws-observability/aws-for-fluent-bit:latest

4.1.2 通过 Docker Compose 启动

创建 docker-compose.yml 文件：

yaml
version: '3'
services:
  aws-fluent-bit:
    image: public.ecr.aws/aws-observability/aws-for-fluent-bit:latest
    container_name: aws-fluent-bit
    volumes:
      - /var/log:/var/log:ro  # 主机日志目录
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro  # 自定义配置文件
    environment:
      - AWS_REGION=us-east-1
      - AWS_ACCESS_KEY_ID=AKIAEXAMPLE  # 可选，本地测试时使用（生产环境建议通过 IAM 角色认证）
      - AWS_SECRET_ACCESS_KEY=secret  # 可选，本地测试时使用
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

4.2 配置说明

4.2.1 配置文件结构

Fluent Bit 配置通过 fluent-bit.conf 文件定义，包含以下核心部分：

• Service：全局配置（如日志级别、工作线程数）。
• Input：定义日志输入源（如文件、容器日志）。
• Filter：定义日志过滤/处理规则（如解析 JSON 日志、添加元数据）。
• Output：定义日志输出目标（如 CloudWatch Logs、Kinesis Data Firehose）。

4.3 环境变量

AWS Fluent Bit 镜像支持通过环境变量配置 AWS 认证及核心参数，常用变量如下：

4.4 配置示例

4.4.1 收集容器日志并发送至 CloudWatch Logs

创建 fluent-bit.conf 配置文件：

ini
[SERVICE]
    Flush               5  # 每 5 秒刷新一次日志
    Log_Level           info
    Daemon              off
    Parsers_File        parsers.conf  # 引用内置解析器配置

[INPUT]
    Name                tail  # 从文件尾部读取日志
    Path                /var/log/containers/*.log  # 容器日志路径（Docker 默认路径）
    Parser              docker  # 使用内置 docker 解析器解析 JSON 日志
    Tag                 container.*  # 日志标签，格式为 "container.<文件名>"
    Refresh_Interval    10  # 每 10 秒刷新文件列表

[FILTER]
    Name                kubernetes  # 解析 Kubernetes 元数据（如 Pod 名称、命名空间）
    Match               container.*  # 匹配 INPUT 中定义的标签
    Kube_URL            [***]  # Kubernetes API 地址（EKS 环境）
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt  # 证书路径
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token  # Token 路径

[OUTPUT]
    Name                cloudwatch_logs  # 输出至 CloudWatch Logs
    Match               *  # 匹配所有日志
    region              ${AWS_REGION}  # 引用环境变量中的 AWS 区域
    log_group_name      /aws/ecs/your-cluster-name  # CloudWatch 日志组名称
    log_stream_name     {namespace}/{pod_name}/{container_name}  # 日志流名称（使用 Kubernetes 元数据）
    auto_create_group   On  # 自动创建日志组

4.5 部署注意事项

• IAM 权限配置：生产环境中，建议为容器（如 ECS 任务角色、EKS 服务账户）绑定包含以下权限的 IAM 策略，避免硬编码密钥：
  • logs:CreateLogGroup
  • logs:CreateLogStream
  • logs:PutLogEvents
• 配置文件挂载：通过 -v 挂载自定义 fluent-bit.conf 时，确保文件权限正确（容器内用户需有读权限）。
• 资源限制：根据日志量调整容器 CPU/内存限制（建议至少 1 CPU 核心、256MB 内存）。

5. 相关资源

• GitHub 源码与文档：[***]
• AWS 使用指南：[]
• Fluent Bit 文档：[]