determinedai/pytorch-tensorflow-cpu Docker 镜像 - 轩辕镜像

Determined Environments 镜像文档

概述和主要用途

Determined Environments 是 Determined AI 平台的核心组件之一，专注于提供标准化、可重现的机器学习 (ML) 训练环境管理解决方案。该镜像通过容器化技术，帮助数据科学家和ML工程师快速创建、配置和维护隔离的训练环境，确保环境一致性，减少"在我机器上能运行"的问题，同时简化依赖管理和多框架支持流程。

主要用途包括：

• 为ML模型训练提供隔离、一致的运行环境
• 管理训练环境中的软件依赖（如Python库、系统工具等）
• 支持多框架训练环境（TensorFlow、PyTorch、MXNet等）
• 与Determined AI平台无缝集成，实现训练任务的环境自动化配置

核心功能和特性

环境隔离与一致性

• 基于Docker容器实现环境隔离，避免依赖冲突
• 支持环境版本控制，可追溯和复现历史环境配置
• 提供标准化基础镜像，确保不同机器/平台上的环境一致性

灵活的依赖管理

• 支持多种依赖管理方式：pip (requirements.txt)、conda (environment.yml)、poetry 等
• 支持自定义依赖安装命令，满足复杂环境需求
• 内置常用ML库的预配置模板，加速环境搭建

多框架与工具支持

• 原生支持主流ML框架：TensorFlow、PyTorch、JAX、MXNet等
• 集成常用数据处理工具：Pandas、NumPy、Scikit-learn等
• 支持GPU加速配置，自动识别和配置CUDA环境

与Determined平台深度集成

• 无缝对接Determined Master，支持通过Web UI或CLI管理环境
• 支持环境配置与训练任务关联，自动为任务分配指定环境
• 集成实验跟踪功能，记录环境配置与实验结果的关联关系

使用场景和适用范围

适用场景

• 机器学习模型开发与训练：为数据科学家提供隔离的开发环境，专注于模型逻辑而非环境配置
• 研究环境标准化：确保研究团队成员使用一致的环境，提升实验可重复性
• 教学与培训：快速为学员配置统一的ML学习环境，减少环境配置障碍
• CI/CD集成：在ML工作流的CI/CD管道中自动化创建训练环境，实现训练任务自动化执行
• 多项目并行开发：在同一台机器上管理多个隔离的项目环境，避免依赖冲突

适用范围

• 个人数据科学家和ML工程师
• 学术研究团队
• 企业ML研发团队
• 教育机构（ML课程环境配置）
• 需要高度可重现性的ML项目

详细使用方法和配置说明

前提条件

• 已安装Docker Engine (20.10+ 版本)
• 已部署Determined AI平台（如需与平台集成）
• （可选）GPU环境需安装NVIDIA Docker Runtime

基本部署示例（Docker Run）

bash
# 启动基础环境容器
docker run -d \
  --name determined-env \
  --network determined-network \  # 连接到Determined平台网络（如已部署）
  -e DET_MASTER_URL=[***] \  # 连接Determined Master（可选）
  -e ENV_NAME=my-pytorch-env \  # 环境名称
  -e FRAMEWORK=pytorch:2.0 \  # 指定ML框架及版本
  -v $(pwd)/requirements.txt:/opt/determined/environments/requirements.txt \  # 挂载依赖文件
  determinedai/environments:latest

Docker Compose 集成示例

yaml
version: '3.8'
services:
  determined-env:
    image: determinedai/environments:latest
    container_name: determined-env
    environment:
      - DET_MASTER_URL=[***]
      - ENV_NAME=my-tensorflow-env
      - FRAMEWORK=tensorflow:2.12
      - PYTHON_VERSION=3.9
    volumes:
      - ./requirements.txt:/opt/determined/environments/requirements.txt
      - ./data:/data  # 挂载数据目录（可选）
    networks:
      - determined-network

networks:
  determined-network:
    external: true  # 假设已存在Determined平台网络

核心配置参数

环境变量（Environment Variables）

卷挂载（Volumes）

自定义依赖配置

使用 pip 管理依赖

1. 创建 requirements.txt 文件，列出所需依赖：

   txt
   torch==2.0.0
   torchvision==0.15.1
   pandas==1.5.3
   scikit-learn==1.2.2
   

2. 通过卷挂载该文件并启动容器：

   bash
   docker run -d \
     --name pytorch-env \
     -e FRAMEWORK=pytorch:2.0 \
     -v $(pwd)/requirements.txt:/opt/determined/environments/requirements.txt \
     determinedai/environments:latest
   

使用 conda 管理依赖

1. 创建 environment.yml 文件：

   yaml
   name: tf-env
   channels:
     - defaults
     - conda-forge
   dependencies:
     - python=3.9
     - tensorflow=2.12.0
     - numpy=1.24.3
     - pandas=1.5.3
   

2. 指定 ENV_TYPE=conda 并挂载文件：

   bash
   docker run -d \
     --name tensorflow-conda-env \
     -e FRAMEWORK=tensorflow:2.12 \
     -e ENV_TYPE=conda \
     -v $(pwd)/environment.yml:/opt/determined/environments/environment.yml \
     determinedai/environments:latest
   

与 Determined 平台集成

当与 Determined AI 平台集成时，环境会自动注册到平台，可通过 Web UI 或 CLI 进行管理：

bash
# 通过Determined CLI查看可用环境
det env list

# 提交训练任务时指定环境
det experiment create -e my-pytorch-env train.yaml .

注意事项

• 如需使用 GPU，需确保主机已安装 NVIDIA Docker Runtime，并添加 --gpus all 参数：

  bash
  docker run -d \
    --name gpu-env \
    --gpus all \
    -e FRAMEWORK=pytorch:2.0 \
    determinedai/environments:latest
  

• 环境创建后，可通过 docker exec -it determined-env bash 进入容器验证环境配置
• 定期更新镜像以获取最新安全补丁和功能更新：docker pull determinedai/environments:latest