01 背景
基因组survey以测序技术为基础,基于小片段文库的低深度测序,通过K-mer分析,快速获得基因组大小、杂合度、重复序列比例等基本信息,为制定该物种的全基因组de novo测序策略提供有效依据。
jellyfish (水母) 是一个用于快速、内存高效地统计DNA中k-mer数量的工具。一个k-mer是长度为k的子字符串,统计所有这样的子字符串的出现次数是许多DNA序列分析中的核心步骤。水母可以通过使用高效的哈希表编码和利用“比较并交换”CPU指令来增加并行性,从而快速计数k-mer。
水母是一个命令行程序,它读取包含DNA序列的FASTA和多FASTA文件。它以二进制格式输出其k-mer计数,可以使用“jellyfish dump”命令转换成人类可读的文本格式。有关更多详情,请参见下面的文档。
1.1 原理
调研图分析基于k-mer的方法,所谓k-mer是指将核酸序列以滑窗的方法分成包含k个碱基的短序列,“mer”这个单词的来源monomeric unit,单体单元。K是常数,且一般为奇数(避免正反链混淆)。统计所有reads中所出现的k-mer类型及各类型k-mer的深度(或者频率),绘制特定k-mer下不同深度k-mer片段的频数统计图,通常选择K-mer分布最多的峰为主峰,从而得到基因组大小=K-mer总数/K-mer主峰深度值。
由于基因组存在杂合位点和重复序列,k-mer曲线往往不会呈现出良好的泊松分布,而是在主峰前后出现其他的峰,如果存在一定杂合度,会导致在主峰对应的横坐标的二分之一处出现杂合峰,而一定的重复度则会在主峰对应的横坐标的整数倍处出现重复峰。
02 参考
https://genome.umd.edu/jellyfish.html #官网
03 安装
wget -c https://github.com/gmarcais/Jellyfish/releases/download/v2.3.1/jellyfish-2.3.1.tar.gz
tar -zxvf jellyfish-2.3.1.tar.gz
mkdir jellyfishlocation
cd jellyfish-2.3.1
./configure --prefix=/jellyfishlocation
make -j 4
make install
04 使用及常用命令行
三步走,具体详细参数一般使用缺省即可,重点关注kmer=X的值即可。
1 文件读取,读取多个文件
ls ~/species_name_*.clean.fq.gz | awk '{print "gzip -dc "$0 }' > generate.file
ls *.fasta.gz | xargs -n 1 echo gunzip -c > generate.file
for file in ./*.fq.gz; do
gzip -dc "$file";
done > generate.file
gzip -dc 07_1.fq.gz > generate.file
gzip -dc 07_2.fq.gz >> generate.file
2 k-mer的计数
#-m就是kmer的值
#计算k-mer频率,生成sample.jf
jellyfish count -C -m 19 -s 200G -t 4 -g ./generate.file -o ./sample.jf
-m | --mer-len=<num>
使用的k-mer的长度。如果基因组大小为G,则k-mer长度选择为: k ~= log(200G)/log(4)
可选 融合二进制的输出结果
上一步的输出结果为二进制文件,可能输出了多个hash文件,因此需要将这些hash文件合并成一个文件,此时用到 merge 命令。使用方法:
#jellyfish merge -o mer_counts_merged.jf hash1 hash2 ...
3 对hash结果进行统计
k-mer的结果以hash的二进制文件结果给出,需要统计出k-mer总数,特异的k-mer数目,只出现过一次的kmer数,出现了最多的k-mer的数目等信息。以stats命令来运行。使用方法:
jellyfish stats hash
jellyfish stats $pre -o $pre.stat
4 通过Hash结果来画直方图
jellyfish histo -t 10 sample.jf > sample.histo #生成k-mer频数直方表sample.histo和k-mer直方图
jellyfish histo -o $pre.histo $pre -t 4
05 参考文献
- Zimin, A. et al. The MaSuRCA genome Assembler. Bioinformatics (2013). doi:10.1093/bioinformatics/btt476
- Marçais, G. & Kingsford, C. A fast, lock-free approach for efficient parallel counting of occurrences of k-mers. Bioinformatics (Oxford, England) 27, 764-70 (2011).