Genome Nexus Data Importer

概述和主要用途

Genome Nexus Data Importer 用于为 Genome Nexus 应用设置 Mongo 数据库，提供数据导入功能和数据生成管道。无需手动生成数据，data 文件夹已包含多种参考基因组和 Ensembl 版本的预生成数据。该镜像基于 Bitnami 的 MongoDB 镜像构建，当前安装的 MongoDB 版本为 4.0.12。

核心功能和特性

• 提供预生成数据：支持多种参考基因组和 Ensembl 版本，数据存储于 data 文件夹
• 数据导入脚本：可将处理后的数据文件导入运行中的 Mongo 数据库
• 数据生成管道：能够检索指定参考基因组和 Ensembl 版本的数据并生成数据库文件
• 跨物种支持：可处理人类及小鼠等物种的数据（小鼠数据配置详见特定文档）

使用场景和适用范围

适用于 Genome Nexus 应用的数据库部署，包括：

• Genome Nexus 应用的本地开发和测试环境搭建
• 生产环境中 Genome Nexus 数据库的初始化
• 自定义参考基因组或 Ensembl 版本的数据生成与部署

使用方法和配置说明

使用 Mongo 数据库

通过 Docker 容器使用

可直接使用 Genome Nexus 仓库中的 Docker Compose 文件启动包含 Web 应用和数据库的容器。具体操作请参考：genome nexus。

直接导入到 Mongo 数据库

运行 scripts/import_mongo.sh 脚本可将数据导入运行中的数据库。执行脚本时需指定以下参数：

• MONGO_URI：Mongo 数据库地址，例如 mongodb://127.0.0.1:27017/annotator
• REF_ENSEMBL_VERSION：参考基因组和 Ensembl 版本，例如 grch37_ensembl92 或 grch38_ensembl92，数据将从 data/<refgenome_ensemblversion>/export/ 导入

示例：

bash
MONGO_URI="mongodb://127.0.0.1:27017/annotator"
REF_ENSEMBL_VERSION="grch37_ensembl92"
./scripts/import_mongo.sh

数据生成

概述

本仓库包含数据生成管道，可检索指定参考基因组和 Ensembl 版本的数据，生成的数据保存于 data/ 目录。生成过程会创建并填充以下目录：

• data/<refgenome_ensemblversion>/input：从 Ensembl Biomart 检索的输入表格
• data/<refgenome_ensemblversion>/export：管道输出，供 MongoDB 使用
• data/<refgenome_ensemblversion>/tmp：临时文件（不被 Git 跟踪）

依赖项

数据生成管道依赖 Python 和 R 环境，需安装以下依赖：

Python 依赖

bash
cd scripts
pip install -r requirements.txt

R 依赖

bash
R -e "source('[***] biocLite('biomaRt')"

运行数据生成

执行以下命令启动数据生成管道（需数小时完成）：

bash
cd data
make all \
VERSION=grch37_ensembl92 \
GFF3_URL=[***]

参数说明

• VERSION：参考基因组和 Ensembl 版本标识，如 grch37_ensembl92
• GFF3_URL：GFF3 文件的 FTP 地址，需根据参考基因组和 Ensembl 版本调整（示例见 Makefile）

错误处理

若管道因外部服务（如 Ensembl REST API）故障中断，可能生成空文件。需删除空文件后重新运行 make all 继续管道执行。

调整查询大小

若 Ensembl REST API 响应缓慢，可通过 QSIZE 参数减小单次查询的转录本数量（默认 1000，示例设为 100）：

bash
make all \
VERSION=grch37_ensembl92 \
GFF3_URL=[***] \
QSIZE=100

数据验证

可通过检查 export/ensembl_biomart_transcripts.json.gz 中的外显子坐标验证数据正确性：选择一个 Ensembl 外显子 ID，在 Ensembl GRCh38 或 GRCh37 数据库中查询对应基因和转录本的外显子坐标进行比对。

其他物种支持

可处理小鼠数据以构建小鼠数据库，详情参见 此处。

数据提交

生成新数据后，可创建 Pull Request 提交至 Genome-Nexus 仓库，将新数据合并到主分支。