AI-Serving Docker镜像

镜像概述与主要用途

AI-Serving Docker镜像是用于部署AI/ML模型的轻量级容器化解决方案，专注于支持开放标准格式（PMML和ONNX）的模型服务。该镜像集成AI-Serving二进制程序，默认使用ONNXRuntime CPU后端，可通过HTTP（REST API）和gRPC两种接口提供模型推理服务，适用于快速部署标准化的机器学***模型服务。

核心功能与特性

• 多格式支持：兼容PMML和ONNX开放标准格式的AI/ML模型，无需自定义格式转换
• 双接口服务：同时提供HTTP（REST API）和gRPC端点，满足不同集成需求
• 轻量级设计：最小化镜像体积，仅包含AI-Serving二进制及必要依赖，降低部署资源消耗
• 默认CPU后端：内置ONNXRuntime CPU后端，开箱即可运行，无需额外配置
• 即开即用：预安装AI-Serving程序，无需手动编译，拉取镜像后可快速启动服务

使用场景与适用范围

• 企业级AI模型部署：需要标准化接口（REST/gRPC）对外提供模型服务的场景
• 多格式模型统一服务：同时管理PMML和ONNX格式模型，简化多模型部署流程
• 轻量级CPU环境：适用于无GPU资源的服务器或边缘设备，通过CPU高效运行模型
• 快速原型验证：无需复杂配置，快速将训练好的PMML/ONNX模型转换为可访问的API服务

使用方法与配置说明

基本部署命令

使用以下命令拉取并启动AI-Serving容器（默认端口需参考***文档确认）：

bash
docker run -p 8080:8080 autodeployai/ai-serving

挂载模型目录

如需加载本地模型文件，通过-v参数挂载模型目录（假设本地模型路径/local/models，容器内路径/models）：

bash
docker run -p 8080:8080 -v /local/models:/models autodeployai/ai-serving --model-dir /models

配置参数说明

详细配置参数（如端口修改、日志级别、模型加载策略等）可通过命令行参数或配置文件指定，完整参数列表请参考***文档：AI-Serving GitHub

访问服务

服务启动后，可通过以下方式访问：

• REST API：http://localhost:8080/v1/models/{model-name}:predict
• gRPC：连接localhost:8080，使用对应protobuf定义调用服务

镜像信息

• ***仓库：GitHub - autodeployai/ai-serving
• 镜像特性：最小化镜像，包含AI-Serving二进制及默认ONNXRuntime CPU后端，支持PMML和ONNX模型服务