Docker镜像文档

镜像概述

本Docker镜像基于Debian系统构建，集成Node.js运行环境、Playwright自动化工具、Chrome浏览器及Apify SDK，提供一站式开发环境，简化网络爬虫开发、网页自动化测试及动态网页数据提取流程。无需手动配置依赖，可直接用于开发和运行基于JavaScript/TypeScript的浏览器自动化脚本。

核心功能与特性

基础环境

• Debian系统：提供稳定的Linux运行环境，兼容主流开发工具。
• Node.js：预装Node.js及npm，支持JavaScript/TypeScript开发。

自动化与浏览器支持

• Playwright：支持跨浏览器自动化，可控制Chrome、Firefox等浏览器，提供页面交互、截图、PDF生成等功能。
• Chrome浏览器：内置Chrome浏览器，支持渲染动态网页，满足复杂JavaScript渲染场景需求。

爬虫开发工具

• Apify SDK：提供爬虫开发框架，包含队列管理、数据存储、代理池集成等功能，简化分布式爬虫开发流程。

使用场景

1. 网络爬虫开发：基于Apify SDK快速构建定向爬虫，提取动态网页数据（如JavaScript渲染的内容）。
2. 网页自动化测试：通过Playwright编写自动化测试脚本，验证网页功能、UI渲染及用户交互流程。
3. 动态网页数据提取：针对AJAX加载或SPA（单页应用），使用Playwright控制Chrome获取渲染后的数据。
4. 浏览器环境一致性验证：确保在统一的Chrome版本和系统环境中运行脚本，避免环境差异导致的问题。

使用方法与配置说明

基本使用（docker run）

bash
# 拉取镜像（假设镜像名称为apify-node-playwright）
docker pull [镜像仓库地址]/apify-node-playwright:latest

# 运行容器并挂载本地项目目录
docker run -it --rm \
  -v $(pwd):/app \
  -w /app \
  [镜像仓库地址]/apify-node-playwright:latest \
  bash

参数说明：

• -v $(pwd):/app：将本地当前目录挂载到容器内/app目录，便于代码编辑和运行。
• -w /app：设置工作目录为/app。
• --rm：容器退出后自动删除，避免残留。
• -it：交互式终端，便于调试。

运行爬虫/自动化脚本

1. 在本地项目目录中编写脚本（如crawler.js）：

   javascript
   const { Apify } = require('apify');
   const { chromium } = require('playwright');
   
   (async () => {
     // 启动Chrome浏览器
     const browser = await chromium.launch({ headless: true });
     const page = await browser.newPage();
     await page.goto('[***]
     
     // 提取页面标题
     const title = await page.title();
     console.log('页面标题:', title);
     
     await browser.close();
   })();
   

2. 在容器内安装依赖（如需）并运行脚本：

   bash
   # 安装项目依赖（如package.json中定义）
   npm install
   
   # 运行脚本
   node crawler.js
   

环境变量配置

可通过-e参数传递环境变量，如设置Apify API令牌：

bash
docker run -it --rm \
  -v $(pwd):/app \
  -w /app \
  -e APIFY_TOKEN=your_apify_token \
  [镜像仓库地址]/apify-node-playwright:latest \
  node crawler.js

常用环境变量：

• NODE_ENV：设置运行环境（如production/development），默认development。
• APIFY_TOKEN：Apify平台API令牌，用于使用Apify云服务（如任务调度、数据存储）。
• PLAYWRIGHT_CHROMIUM_EXECUTABLE_PATH：自定义Chrome可执行路径（默认使用内置Chrome）。

持久化数据（可选）

如需保存爬虫数据或日志，可挂载数据目录：

bash
docker run -it --rm \
  -v $(pwd):/app \
  -v ./apify_storage:/root/.apify \
  [镜像仓库地址]/apify-node-playwright:latest \
  bash

./apify_storage目录将持久化Apify SDK的存储数据（如爬取结果、队列状态）。

自定义配置

如需扩展镜像（如安装额外系统依赖），可基于此镜像构建新镜像：

dockerfile
# Dockerfile
FROM [镜像仓库地址]/apify-node-playwright:latest

# 安装额外依赖（如curl）
RUN apt-get update && apt-get install -y curl && rm -rf /var/lib/apt/lists/*

构建命令：

bash
docker build -t custom-apify-image .