/EasyMicrobiome

Primary LanguageCGNU General Public License v3.0GPL-3.0

易微生物组(EasyMicrobiome)

易扩增子、易宏基因组等分析流程依赖常用软件、脚本文件和数据库注释文件等。

Popular software, scripts and database annotation for EasyAmplicon and EasyMetagenome

版本(Version)：EasyMicrobiome v1.21

更新时间(Update)：2024/4/12

项目主页(Project homepage): https://github.com/yongxinliu/EasyMicrobiome

软件安装(Install)

软件包几乎每个季度会更新生成一次，下载并添加至环境变量至可使用。

The software package will be updated and generated almost every quarter, downloaded and added to the environment variable to make it available.

多种下载软件和数据库的方法：任选其一即可 Multiple ways to download software and databases: just choose one

国内可备选微生物所下载站 http://nmdc.cn/datadownload 和百度网盘 https://pan.baidu.com/s/1Ikd_47HHODOqC3Rcx6eJ6Q?pwd=0315

# 方法1. git下载，可使用wget或主页中直接下载压缩包
git clone https://github.com/YongxinLiu/EasyMicrobiome

# 方法2. 备用链接下载
wget -c ftp://download.nmdc.cn/tools/soft/EasyMicrobiome.tar.gz
tar xvzf EasyMicrobiome.tar.gz

添加linux命令可执行权限

chmod +x EasyMicrobiome/linux/*

添加软件至环境变量，否则需要指定软件的完整路径使用

# 临时添加环境变量
export PATH=$PATH:`pwd`/EasyMicrobiome/linux:`pwd`/EasyMicrobiome/script"
# 将变量写入.bashrc，永久添加环境变量
echo "PATH=$PATH:`pwd`/EasyMicrobiome/linux:`pwd`/EasyMicrobiome/script" >> ~/.bashrc

使用方法

该软件为易扩增子、易宏基因组的依赖包。详细使用见各项目主页：

流程的绘图部分，依赖的R包较多，推荐在Windows系统是使用(安装R包更方便)，同时提供了4百个包的合集下载，节省安装时间

  • R语言4.3环境和R包：R语言主页 http://www.r-project.org ，Windows版包合集 ftp://download.nmdc.cn/tools/win/4.3.zip

更新日志 Change log

v1.21 2024/4/12 update

  • csvtk 0.25.0 to 0.30.0
  • seqkit 2.4 to 2.8

软件清单

*注：名称的链接对应软件的主页，大部分已经整合入本项目。对于较大的文件，标题后提供下载链接，使用时需自行下载。

  • linux：Linux系统下分析软件
    • microbiome_helper：微生物组分析输助脚本，如metaphlan2结果转换STAMP格式(metaphlan_to_stamp.pl)，picurst结果功能组成绘图(plot_metagenome_contributions.R)
    • Miniconda3-latest-Linux-x86_64.sh：软件管理器 https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    • qiime2-2023.2.tar.gz：QIIME2安装包，解压至conda的envs目录可用 ftp://download.nmdc.cn/tools/conda/qiime2-2023.2.tar.gz
    • qiime2-2023.2-py38-linux-conda.yml：QIIME2软件安装清单，使用conda在线安装
    • sparcc：sparcc网络分析python脚本
    • usearch：扩增子分析流程
    • vsearch：扩增子分析流程(免费64位版usearch)
  • mac：Mac系统下分析软件
    • csvtk：表格分析工具
    • iqtree：进化树构建
    • qiime2-2023.9-py38-osx-conda.yml：QIIME2软件安装清单，使用conda在线安装
    • R-4.3.2.pkg：R语言安装包
    • RStudio-2023.03.0-386.dmg：RStudio安装包
    • rush：并行管理工具
    • seqkit：序列处理工具
    • taxonkit：NCBI分类处理工具
    • usearch：扩增子分析流程
    • vsearch：扩增子分析流程(免费64位版usearch)
  • win：Windows系统下分析软件
    • Git-2.40.0-64-bit.exe：提供Git bash环境，自行下载安装，教程见：Windows轻松实现linux shell环境：gitforwindows
    • R-4.3.2-win.exe：R语言安装包，下载最新版：Downad CRAN - China Tsinghua - Download R for Windows(Mac) —— base —— Download R 4.3.2
    • RStudio-2023.03.0-386.exe：RStudio安装包，提供分析运行界面。
    • 4.2.zip：R语言常用400+包合集，解压至R包安装位置即可用。
    • usearch.exe：扩增子分析流程
    • vsearch.exe：扩增子分析流程(免费64位版usearch)
    • STAMP2.1.3：微生物组图形界面差异分析工具
    • Adobe_Illustrator_CC_2018_v22.1.0.314_x64_zh_CN_Portable.7z：图片拼图、模式图绘制工具，使用试用版或自行购买
    • Cytoscape_3_8_2_windows_64bit.exe：网络分析安装包
    • csvtk.exe：表格分析工具
    • seqkit.exe：序列处理工具
    • taxonkit.exe：NCBI分类处理工具
    • rush.exe：并行管理工具
    • epp510_1828_64bit.exe：文本编辑器
    • Xshell：远程访问服务器终端，需要申请免费版下载链接；备选PuTTY
    • FileZilla：远程访问服务器文件上传下载，备选WinSCP
    • gephi-0.9.2-windows.exe：网络图绘制工具
    • iqtree.exe：进化树构建
    • libiomp5md.dll：动态库，iqtree运行中提示缺少时，可添加至软件所在目录
    • jdk-11.0.7_windows-x64_bin.exe：Java运行环境
    • muscle.exe：多序列比对工具
    • npp.7.8.9.Installer.x64.exe：文本编辑器NotePad++安装包
    • rtools40-x86_64.exe：R源码安装时的编绎工具
    • wget.exe：命令行下载工具

数据库

  • gg：GreenGenes细菌16S数据库
    • gg_13_8_otus.tar.gz：13年8月更新OTU数据库，用于usearch有参定量和PICRUSt/BugBase功能预测、QIIME 2制作分类器。国内备份链接
    • 16S_13_5_precalculated.tab.gz：picrust的GreenGenes 16S拷贝数
    • ko_13_5_precalculated.tab.gz：picrust的GreenGenes 16S对应的KO数量信息
  • kegg：KEGG数据库描述信息整理
    • ko00001.keg：KEGG层级注释体系，主页 —— KEGG BRITE —— KEGG Orthology (KO) —— Download htext，下载保存为ko00001.tsv
    • ko00001.tsv：转换jason格式为制表符分隔的KO对应描述、(三级)通路、二级通路和一级通路信息
    • KO1-4.txt：KO对应的3级注释，包括(三级)通路、二级通路和一级通路信息，用于KO表的分类汇总
    • KO_description.txt：KO编号对应的功能描述
    • KO_path.list：KO与通路(Pathway)的对应关系，存在某个KO存在于多个通路(1对多)
  • usearch：usearch/vsearch物种分类sintax命令使用数据库
  • eggnog: eggnog结果的注释文件补充
    • COG.anno：COG的第一、二级注释

脚本

  • 使用说明：分析常用脚本类型

    • .R文件为R脚本，使用Rscript命令执行；
    • .sh为Shell脚本，使用/bin/bash命令执行；
    • .pl为Perl脚本，使用perl命令执行；
    • .py为Python脚本，使用python执行，注意还分为python2和python3两种

  • script：微生物组数据分析

    • BugBase：16S扩增子表型预测R脚本和数据库
    • FAPROTAX_1.2.4：16S扩增子元素循环预测Python脚本和数据库
    • table2itol：iTOL进化树注释文件制作R脚本
    • alpha_barplot.R：Alpha多样性指数柱状图+标准差图绘制
    • alpha_boxplot.R：Alpha多样性指数箱线图+统计绘制
    • alpha_rare_curve.R：usearch计算稀释曲线可视化
    • beta_cpcoa.R：基于距离矩阵开展限制性PCoA分析及可视化散点图+分组着色+置信椭圆，要求至少3个分组
    • beta_pcoa.R：基于距离矩阵的主坐标PCoA分析及可视化散点图+分组着色+置信椭圆+组间两两统计
    • BetaDiv.R：更多Beta多样性分析，如PCA、PCoA、NMDS、LDA、CCA、RDA等
    • compare.R：两组比较，支持t.test、wilcox、edgeR三种方法
    • compare_heatmap.R/sh：基于两组比较结果绘制热图
    • compare_manhattan.sh：基于两组比较结果绘制曼哈顿图
    • compare_volcano.R：基于两组比较结果绘制火山图
    • faprotax_report_sum.pl：FARPROTAX分析结果报告整理
    • filter_feature_table.R：按频率过滤OTU表
    • format_dbcan2list.pl：dbcan数据库注释结果整理
    • format2lefse.R：OTU表和物种注释生成LEfSe输入文件
    • format2stamp.R：OTU表和物种注释生成STAMP输入文件
    • kegg_ko00001_htext2tsv.pl：KEGG注释结果整理
    • kraken2alpha.R：Kraken2结果整理、抽平和alpha多样性指数计算
    • mat_gene2ko.R：按类型折叠表格
    • metaphlan_boxplot.R：metaphalan2结果可视化为箱线图
    • metaphlan_hclust_heatmap.R：metaphalan2结果可视化为聚类热图
    • metaphlan_to_stamp.pl：metaphalan2结果转换为STAMP格式
    • otu_mean.R：OTU表统计分组均值(总体均值)、分组求合
    • otutab_filter_nonBac.R：16S的OTU表按sintax注释结果选择细菌、古菌且过滤叶绿体和线粒体
    • otutab_filter_nonFungi.R：ITS的OTU表选择真菌
    • otutab_freq2count.R：转换频率为伪整数，用于要求整型输入的分析，如多样性、edgeR差异分析等
    • otutab_rare.R：OTU表抽平
    • plot_metagenome_contributions.R：PICRUSt结果物种的功能组成绘制
    • sp_pheatmap.sh：绘制热图
    • sp_vennDiagram.sh：绘制维恩图
    • summarizeAbundance.py：按类型折叠大表，如基因按KEGG的KO合并
    • tax_circlize.R：物种组成圈图
    • tax_maptree.R：物种组成气泡图
    • tax_stackplot.R：物种组成堆叠柱状图

使用此脚本，请引用下文：

If used this script, please cited:

Yong-Xin Liu, Lei Chen, Tengfei Ma, Xiaofang Li, Maosheng Zheng, Xin Zhou, Liang Chen, Xubo Qian, Jiao Xi, Hongye Lu, Huiluo Cao, Xiaoya Ma, Bian Bian, Pengfan Zhang, Jiqiu Wu, Ren-You Gan, Baolei Jia, Linyang Sun, Zhicheng Ju, Yunyun Gao, Tao Wen, Tong Chen. 2023. EasyAmplicon: An easy-to-use, open-source, reproducible, and community-based pipeline for amplicon data analysis in microbiome research. iMeta 2: e83. https://doi.org/10.1002/imt2.83

Copyright 2016-2024 Yong-Xin Liu liuyongxin@caas.cn, Tao Wen taowen@njau.edu.cn, Tong Chen chent@nrc.ac.cn