Logz.io-Out Plugin for Fluent Bit 镜像文档

镜像概述和主要用途

Logz.io-Out Plugin for Fluent Bit 是一个专为 Fluent Bit 设计的输出插件镜像，用于将通过 Fluent Bit 收集的日志数据高效转发至 Logz.io 日志管理平台。其核心用途是作为日志数据管道的关键组件，实现从数据收集端（Fluent Bit）到日志分析平台（Logz.io）的无缝对接，支持用户在 Logz.io 中对日志进行集中存储、检索、分析及可视化监控。

核心功能和特性

核心功能

Fluent Bit 原生集成：与 Fluent Bit 数据处理管道深度兼容，支持通过 Fluent Bit 配置文件直接调用插件。
日志定向转发：将 Fluent Bit 收集的结构化/非结构化日志数据按配置规则转发至 Logz.io 平台。
数据格式适配：自动适配 Logz.io 日志接收格式，确保数据完整性和可用性。

关键特性

安全传输：支持 TLS 加密传输，保障日志数据在传输过程中的安全性。
灵活配置：支持通过环境变量或配置文件自定义 Logz.io 目标参数（如令牌、区域等）。
轻量高效：基于 Fluent Bit 插件架构，资源占用低，转发性能高，适用于高并发日志场景。
错误重试：内置基础重试机制，提升日志传输的可靠性。

使用场景和适用范围

适用场景

容器化应用日志管理：Docker、Kubernetes 等容器环境中，通过 Fluent Bit 收集容器日志并转发至 Logz.io。
微服务架构日志聚合：分布式微服务环境下，集中收集各服务日志并统一发送至 Logz.io 进行关联分析。
云环境日志集中化：AWS、Azure、GCP 等云平台中，通过 Fluent Bit 收集云资源日志（如 VM、容器、数据库）并同步至 Logz.io。
混合架构日志整合：物理机、虚拟机与云资源混合部署场景下，实现跨环境日志的统一管理。

适用范围

用户需将日志数据发送至 Logz.io 平台进行分析的场景。
已采用 Fluent Bit 作为日志收集工具的技术栈。
需要轻量级、高性能日志转发组件的环境（如边缘计算、资源受限场景）。

使用方法和配置说明

前置条件

已获取 Logz.io 账户及日志发送令牌（可从 Logz.io 控制台的“设置 > 账户 > 日志令牌”中获取）。
已安装 Docker 环境（用于运行插件容器）。
已部署 Fluent Bit 实例（作为日志收集端，需与插件容器网络互通）。

1. Docker 快速启动

通过 docker run 命令直接启动插件容器，需挂载 Fluent Bit 配置文件并配置 Logz.io 参数：

bash
docker run -d \
  --name fluent-bit-logzio \
  -v /path/to/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf \
  -e LOGZIO_TOKEN="your-logzio-token" \
  -e LOGZIO_REGION="us"  # 可选，默认 "us"，其他区域如 "eu"、"au" 等
  logzio/fluent-bit-logzio-output

说明：

/path/to/fluent-bit.conf：本地 Fluent Bit 配置文件路径，需在配置中指定 [OUTPUT] 段调用 logzio 插件（见下文配置示例）。

LOGZIO_TOKEN：必填，Logz.io 账户的日志发送令牌，用于身份验证。

2. Docker Compose 配置示例

通过 docker-compose.yml 定义 Fluent Bit 与 Logz.io 插件的联动部署（适用于单机测试或小型环境）：

yaml
version: '3'

services:
  fluent-bit:
    image: fluent/fluent-bit:latest
    volumes:
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf  # 挂载配置文件
      - /var/log:/var/log  # 挂载宿主机日志目录（示例，根据实际收集目标调整）
    depends_on:
      - logzio-plugin

  logzio-plugin:
    image: logzio/fluent-bit-logzio-output
    environment:
      - LOGZIO_TOKEN=your-logzio-token  # 替换为实际令牌
      - LOGZIO_REGION=eu  # 替换为实际区域（如 "us"、"au"）
      - LOGZIO_LOG_TYPE=my-app-logs  # 可选，自定义日志类型标签
    networks:
      - log-network  # 确保与 Fluent Bit 在同一网络

networks:
  log-network:
    driver: bridge

Fluent Bit 配置文件示例（`fluent-bit.conf`）：

ini
[SERVICE]
    Flush        5  # 日志刷新间隔（秒）
    Log_Level    info
    Daemon       off
    Parsers_File parsers.conf

[INPUT]
    Name         tail  # 示例：收集文件日志
    Path         /var/log/*.log  # 日志文件路径
    Tag          host.log  # 日志标签（用于后续过滤）

[OUTPUT]
    Name         logzio  # 使用 Logz.io 插件
    Match        *  # 匹配所有日志流（可按 Tag 过滤，如 "host.log"）
    logzio_token ${LOGZIO_TOKEN}  # 引用环境变量中的令牌
    logzio_region ${LOGZIO_REGION}  # 引用环境变量中的区域
    tls          on  # 启用 TLS 加密
    tls.verify   on  # 验证 TLS 证书

3. 配置参数详解

插件支持通过环境变量或 Fluent Bit 配置文件（[OUTPUT] 段）定义参数，常用配置项如下：

参数名	类型	是否必填	描述
`logzio_token`	字符串	是	Logz.io 账户的日志发送令牌，用于身份验证，从 Logz.io 控制台获取。
`logzio_region`	字符串	否	Logz.io 区域，默认 "us"，可选值："us"（美国）、"eu"（欧洲）、"au"（澳大利亚）等。
`logzio_type`	字符串	否	自定义日志类型标签，用于在 Logz.io 中分类日志，默认值：`fluent-bit`。
`tls`	布尔值	否	是否启用 TLS 加密传输，默认 `on`（推荐启用）。
`tls.verify`	布尔值	否	是否验证 TLS 服务器证书，默认 `on`（生产环境推荐启用）。
`http_proxy`	字符串	否	HTTP 代理地址（如需要通过代理访问 Logz.io），格式：`[***]`。
`logzio_url`	字符串	否	自定义 Logz.io 接收端点 URL（默认根据 `logzio_region` 自动生成，无需手动指定）。
`buffer_max_size`	整数	否	日志发送缓冲区最大大小（KB），默认 5M，用于应对网络波动。

注意事项

令牌安全性：logzio_token 为敏感信息，建议通过环境变量注入（如 Docker --env 或 Kubernetes Secrets），避免硬编码在配置文件中。
网络连通性：确保插件容器可访问 Logz.io 区域端点（如 listener.logz.io:8071 对应美国区域），需开放出站网络端口（TLS 加密默认使用 8071 端口）。
版本兼容性：插件版本需与 Fluent Bit 版本兼容，推荐使用最新稳定版，详细兼容性参考 GitHub 仓库。
性能调优：高流量场景下，可调整 buffer_max_size 及 Fluent Bit Flush 间隔，平衡性能与资源占用。