Hadoop-Python-Java Docker镜像

镜像概述

镜像名称：rorounifix/pyspark:latest
指定Python版本镜像名称：rorounifix/pyspark:3.10

基础镜像：ubuntu:22.04

概述：该Docker镜像提供基于Ubuntu 22.04的环境，预装Python 3.10、OpenJDK 11、PostgreSQL客户端工具及Apache Hadoop 3.3.5，旨在作为多功能基础环境，支持开发和运行需要Hadoop、Java及Python的应用。

核心功能与特性

包含组件

• Python 3.10：通用高级编程语言，包含python3.10和pip包管理工具。
• OpenJDK 11：广泛使用的Java开发工具包，支持运行Java应用和Hadoop。
• PostgreSQL客户端：用于与PostgreSQL数据库交互的命令行工具。
• Apache Hadoop 3.3.5：支持分布式存储和处理大型数据集的框架。
• Google Chrome：用于访问Web应用的网页浏览器。

主要特性

• Hadoop配置：安装Apache Hadoop 3.3.5并配置环境变量（HADOOP_HOME、PATH、LD_LIBRARY_PATH），便于直接访问。
• Python与Java支持：提供稳定版Python 3.10和OpenJDK 11，支持Python脚本和Java应用的开发与执行。
• 数据库操作：集成PostgreSQL客户端，支持直接在容器内进行数据库操作。
• Web访问：包含Google Chrome，支持网页浏览功能。

使用场景与适用范围

适用于需要同时使用Hadoop进行大数据处理、Java开发、Python脚本运行、PostgreSQL数据库交互及Web访问的场景，如大数据开发、数据分析、多组件集成测试等。

使用方法与配置说明

拉取镜像

通过以下命令拉取最新版本镜像：

sh
docker pull rorounifix/pyspark:latest

运行容器

使用交互式终端运行容器（退出时自动删除容器）：

sh
docker run -it --rm rorounifix/pyspark

验证安装

容器内可通过以下命令验证组件安装情况：

sh
# 验证Python版本
python3.10 --version

# 验证Java版本
java -version

# 验证Hadoop版本
hadoop version

# 验证Google Chrome版本
google-chrome --version

该环境整合Hadoop、Java、Python、PostgreSQL及网页浏览能力，提供一站式开发与运行环境。