Intel QuickAssist Technology (QAT) 设备插件 for Kubernetes

目录

• 镜像概述和主要用途
• 核心功能和特性
  • 模式和配置选项
• 使用场景和适用范围
• 安装
  • 前提条件
  • 预构建镜像
  • 获取源代码
  • 以 DaemonSet 方式部署
    • 构建插件镜像
    • 部署 DaemonSet
    • 验证 QAT 设备插件注册状态
  • 手动部署
    • 构建 QAT 设备插件
    • 部署 QAT 插件
• 使用方法和配置说明
  • QAT 设备插件演示
    • DPDK QAT 演示
      • DPDK 前提条件
      • 构建镜像
      • 部署 Pod
      • 手动测试运行
      • 自动测试运行
    • OpenSSL QAT 演示
• 检查硬件

镜像概述和主要用途

Intel QAT 设备插件为 Kubernetes 环境提供 Intel QAT 设备支持。该插件通过 Linux 内核中的虚拟功能（VF）设备驱动识别并管理 QAT 硬件资源，使容器能够访问 QAT 硬件加速的加密和压缩功能。支持的设备由系统中可用的 VF 驱动决定，适用于需要高性能加密/压缩处理的 Kubernetes 工作负载。

核心功能和特性

支持的设备

插件支持的设备包括但不限于：

• Intel® Xeon® 处理器搭配 Intel® C62X 系列芯片组
• Intel® Atom™ 处理器 C3000 系列
• Intel® 通信芯片组 8925 至 8955 系列

模式和配置选项

QAT 插件支持多种命令行参数配置，核心模式包括 dpdk 和 kernel，具体参数如下表：

注意：

• 若内核版本 ≥ 5.9，vfio-pci 模块需加载 disable_denylist=1 参数以确保插件正常工作。
• kernel 模式默认不包含在构建中（包括 Docker Hub 镜像），需通过特定命令构建（见 构建插件镜像）。
• kernel 模式基于系统配置的逻辑实例分配资源，不保证容器间设备隔离，不推荐使用，未来将被弃用。

核心功能

1. 硬件加速访问：通过 DPDK 或内核驱动为容器提供 QAT 硬件加密/压缩加速能力。
2. 灵活资源分配：支持均衡或紧凑的 VF 资源分配策略，适配不同工作负载需求。
3. 多模式支持：dpdk 模式（推荐）提供隔离的设备访问，kernel 模式（兼容旧系统）基于逻辑实例分配。

使用场景和适用范围

适用场景

• 加密加速：SSL/TLS 卸载、IPSec 处理等需要高强度加密运算的场景（如 Web 服务器、*** 网关）。
• 数据压缩：大数据传输、存储压缩等需高效压缩/解压缩的场景（如分布式存储、日志处理）。
• 高性能计算：需要减少 CPU 占用率的计算密集型应用，释放 CPU 资源用于业务逻辑。

适用范围

• 部署了 Intel QAT 硬件的 Kubernetes 集群（节点需配置 QAT VF 驱动）。
• 基于 DPDK 或 OpenSSL 的应用（如 NGINX、HAProxy、Kata Containers）。

安装

前提条件

1. 硬件要求：节点需安装支持的 Intel QAT 硬件（见 检查硬件）。
2. 软件依赖：
   • Kubernetes 集群（需支持设备插件框架）。
   • Linux 内核 QAT VF 驱动（可通过 内核上游驱动 或 Intel QAT 软件包 安装）。

预构建镜像

Docker Hub 提供预构建镜像 intel/intel-qat-plugin，支持最新版本和特定版本标签（如 v0.18.0）。部署命令：

bash
# 部署指定版本（替换 <RELEASE_VERSION> 为版本号，如 v0.18.0）
kubectl apply -k [***]<RELEASE_VERSION>

# 部署调试模式（开启详细日志）
kubectl apply -k [***]<RELEASE_VERSION>

获取源代码

bash
export INTEL_DEVICE_PLUGINS_SRC=/path/to/intel-device-plugins-for-kubernetes
git clone [***] ${INTEL_DEVICE_PLUGINS_SRC}

以 DaemonSet 方式部署

构建插件镜像

使用 make 构建本地镜像（默认驱动为 Docker，可通过 BUILDER 参数指定其他工具）：

bash
cd ${INTEL_DEVICE_PLUGINS_SRC}
# 构建 dpdk 模式镜像（默认）
make intel-qat-plugin
# 构建 kernel 模式镜像（需手动指定）
make intel-qat-plugin-kerneldrv

构建成功后生成镜像 intel/intel-qat-plugin:devel。

部署 DaemonSet

通过 kustomize 部署 ConfigMap 和 DaemonSet：

bash
# 部署默认配置
kubectl apply -k ${INTEL_DEVICE_PLUGINS_SRC}/deployments/qat_plugin

# 部署调试模式
kubectl apply -k ${INTEL_DEVICE_PLUGINS_SRC}/deployments/qat_plugin/overlays/debug

验证 QAT 设备插件注册状态

检查节点资源分配，确认插件已注册 QAT 设备：

bash
kubectl describe node <节点名称> | grep qat.intel.com/generic
# 预期输出（示例）：
# qat.intel.com/generic: 10
# qat.intel.com/generic: 10

手动部署

构建 QAT 设备插件

直接编译插件二进制文件：

bash
cd ${INTEL_DEVICE_PLUGINS_SRC}
make qat_plugin

部署 QAT 插件

在节点上以 root 身份运行插件（根据实际环境调整参数）：

bash
sudo -E ${INTEL_DEVICE_PLUGINS_SRC}/cmd/qat_plugin/qat_plugin \
  -dpdk-driver igb_uio \
  -kernel-vf-drivers dh895xccvf \
  -max-num-devices 10 \
  -debug
# 预期输出（示例）：
# QAT device plugin started
# Discovered Devices below:
# 03:01.0 device: corresponding DPDK device detected is uio0
# ...
# device-plugin registered

使用方法和配置说明

QAT 设备插件演示

DPDK QAT 演示

通过 DPDK 的 ***-perf 和 compress-perf 工具验证 QAT 加密/压缩加速能力。

DPDK 前提条件

• 节点需加载 DPDK 驱动（如 igb_uio、vfio-pci）。
• 配置大页内存（如 hugepages-2Mi=1024）。

构建镜像

bash
cd ${INTEL_DEVICE_PLUGINS_SRC}
make ***-perf  # 生成镜像 intel/***-perf:devel

部署 Pod

通过 kustomize 部署 DPDK 测试 Pod（包含 QAT 设备请求和大页配置）：

bash
kubectl apply -k ${INTEL_DEVICE_PLUGINS_SRC}/deployments/qat_dpdk_app/base/
kubectl get pods  # 确认 Pod 状态为 Running

手动测试运行

进入 Pod 执行加密性能测试：

bash
kubectl exec -it qat-dpdk bash
# 执行 AES-CBC 加密吞吐量测试（根据 DPDK 版本调整 .so 文件版本）
dpdk-test-***-perf -l 6-7 -w $QAT1 \
  -d /usr/lib64/librte_***_ring.so.1.1 \
  -d /usr/lib64/librte_pmd_qat.so.1.1 -- \
  --ptest throughput --devtype ***_qat \
  --optype cipher-only --cipher-algo aes-cbc \
  --cipher-op encrypt --cipher-key-sz 16 \
  --total-ops *** --burst-sz 32 --buffer-sz 64

自动测试运行

通过 kustomize 部署预配置的加密/压缩测试：

bash
kubectl apply -k ${INTEL_DEVICE_PLUGINS_SRC}/deployments/qat_dpdk_app/test-***1
kubectl apply -k ${INTEL_DEVICE_PLUGINS_SRC}/deployments/qat_dpdk_app/test-compress1
# 查看测试日志
kubectl logs qat-dpdk-test-***-perf-tc1
kubectl logs qat-dpdk-test-compress-perf-tc1

注意：自动测试需集群启用 Kubernetes CPU 管理器 static 策略。

OpenSSL QAT 演示

OpenSSL 加速演示需结合 Kata Containers，详情参考 Kata Containers 文档。

检查硬件

通过 PCI 设备 ID 检查节点是否存在 QAT 硬件：

bash
for i in 0442 0443 37c9 19e3; do lspci -d 8086:$i; done
# 若输出包含类似 "8086:0442" 的设备，则表示存在 QAT 硬件