在Kubernetes中,守护进程集(DaemonSet)确保部分或所有节点运行一个Pod副本。本实现通过Fluentd DaemonSet收集Kubernetes日志。Fluentd具备足够的灵活性,并拥有适当的插件可将日志分发到Logz.io等第三方平台。
logzio-k8s镜像预配置了Fluentd,可收集Kubernetes节点环境中的所有日志,并为日志附加适当的元数据。
您有两种部署选项:
logzio-daemonset-containerd.yaml下载并自定义。apiVersion: rbac.authorization.k8s.io/v1beta1。ClusterRole和ClusterRoleBinding的API版本位于logzio-daemonset-rbac.yaml和logzio-daemonset-containerd.yaml中。若运行K8S 1.17或更高版本,守护进程集默认使用apiVersion: rbac.authorization.k8s.io/v1,无需修改。logzio/logzio-fluentd拉取镜像。早期版本从logzio/logzio-k8s拉取。对于大多数环境,推荐使用默认配置。若环境需要,也可部署自定义配置。
守护进程集将部署在monitoring命名空间下。
shellkubectl create namespace monitoring
将Logz.io传输凭证保存为Kubernetes密钥。
将<<SHIPPING-TOKEN>>替换为要发送到的账户的令牌。
将<<LISTENER-HOST>>替换为您所在区域的监听器主机(例如listener.logz.io)。有关查找账户区域的更多信息,请参见账户区域。
shellkubectl create secret generic logzio-logs-secret \ --from-literal=logzio-log-shipping-token='<<SHIPPING-TOKEN>>' \ --from-literal=logzio-log-listener='https://<<LISTENER-HOST>>:8071' \ -n monitoring
对于RBAC集群:
shellkubectl apply -f [***] -f [***]
对于非RBAC集群:
shellkubectl apply -f [***] -f [***]
对于containerd运行时:
shellkubectl apply -f [***] -f [***]
等待一段时间让日志从系统传输到Logz.io,然后打开Kibana。
如果仍未看到日志,请参见日志传输故障排除。
您可以自定义Fluentd容器的配置,通过ConfigMap覆盖默认的守护进程集配置。
守护进程集将部署在该命名空间下。
shellkubectl create namespace monitoring
将Logz.io传输凭证保存为Kubernetes密钥。
将<<SHIPPING-TOKEN>>替换为要发送到的账户的令牌。
将<<LISTENER-HOST>>替换为您所在区域的监听器主机(例如listener.logz.io)。有关查找账户区域的更多信息,请参见账户区域。
shellkubectl create secret generic logzio-logs-secret \ --from-literal=logzio-log-shipping-token='<<SHIPPING-TOKEN>>' \ --from-literal=logzio-log-listener='https://<<LISTENER-HOST>>:8071' \ -n monitoring
有3种守护进程集选项:RBAC守护进程集、非RBAC守护进程集、Containerd。下载相关的守护进程集并在文本编辑器中打开进行编辑。
若要对Fluentd配置进行高级修改,可下载并编辑configmap yaml文件。
环境变量 以下环境变量可直接在守护进程集中编辑,无需修改ConfigMap。
| 参数 | 描述 |
|---|---|
| output_include_time | 默认值:true 若要在处理日志时附加时间戳,设为 true;否则设为false。 |
| LOGZIO_BUFFER_TYPE | 默认值:file 指定用作后端的插件。 |
| LOGZIO_BUFFER_PATH | 默认值:/var/log/Fluentd-buffers/stackdriver.buffer 缓冲区路径。 |
| LOGZIO_OVERFLOW_ACTION | 默认值:block 控制队列满时的行为。 |
| LOGZIO_CHUNK_LIMIT_SIZE | 默认值:2M 允许的最大块大小。 |
| LOGZIO_QUEUE_LIMIT_LENGTH | 默认值:6 输出队列的最大长度。 |
| LOGZIO_FLUSH_INTERVAL | 默认值:5s 调用下一次缓冲区刷新前的等待时间(秒)。 |
| LOGZIO_RETRY_MAX_INTERVAL | 默认值:30s 重试之间的最大等待时间(秒)。 |
| LOGZIO_FLUSH_THREAD_COUNT | 默认值:2 刷新缓冲区的线程数。 |
| LOGZIO_LOG_LEVEL | 默认值:info 容器的日志级别。 |
| INCLUDE_NAMESPACE | 默认值:""(所有命名空间) 若要发送特定K8s命名空间的日志,以空格分隔。格式应为: kubernetes.var.log.containers.**_<<要包含的命名空间>>_** kubernetes.var.log.containers.**_<<另一个命名空间>>_**。 |
| KUBERNETES_VERIFY_SSL | 默认值:true 启用以验证SSL证书。 |
| FLUENT_FILTER_KUBERNETES_URL | 默认值:nil(预构建的守护进程集中不显示) API服务器的URL。设置此项可从Kubernetes API服务器检索更多日志的Kubernetes元数据。若未指定,当 KUBERNETES_SERVICE_HOST和KUBERNETES_SERVICE_PORT环境变量均存在时(通常在Pod中运行Fluentd时为真),将使用这两个变量。注意:此参数未出现在守护进程集的预构建环境变量列表中。若要使用并设置此变量,需将其添加到守护进程集的环境变量中。 |
| AUDIT_LOG_FORMAT | 默认值:audit 审计日志的格式。若审计日志为JSON格式,设为 audit-json。 |
若要进一步修改Fluentd配置,下载configmap文件,在文本编辑器中打开并进行所需更改。
对于RBAC守护进程集:
shellkubectl apply -f /path/to/logzio-daemonset-rbac.yaml -f /path/to/configmap.yaml
对于非RBAC守护进程集:
shellkubectl apply -f /path/to/logzio-daemonset.yaml -f /path/to/configmap.yaml
对于containerd运行时:
shellkubectl apply -f /path/to/logzio-daemonset-containerd.yaml -f /path/to/configmap.yaml
等待一段时间让日志从系统传输到Logz.io,然后打开Kibana。
如果仍未看到日志,请参见日志传输故障排除。
要抑制Fluentd系统消息,在Kubernetes环境中将FLUENTD_SYSTEMD_CONF环境变量设置为disable。
默认情况下,最新镜像会启动prometheus插件以监控Fluentd。可通过在Kubernetes配置中将FLUENTD_PROMETHEUS_CONF环境变量设置为disable来禁用prometheus输入插件。
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429