的广州建网站的公司,无锡企业网站的建设,百度提交网站,html5 企业网站FASTQ 文件压缩格式 .gz .bz2 .xz .rfq .rfq.xz FASTQ 文件是用于存储测序数据的一种格式#xff0c;它包含了大量的文本信息#xff0c;因此通常占用大量的存储空间。为了有效地处理和传输这些数据#xff0c;通常需要对 FASTQ 文件进行压缩来节省存储空间及传输带宽。以下… FASTQ 文件压缩格式 .gz .bz2 .xz .rfq .rfq.xz FASTQ 文件是用于存储测序数据的一种格式它包含了大量的文本信息因此通常占用大量的存储空间。为了有效地处理和传输这些数据通常需要对 FASTQ 文件进行压缩来节省存储空间及传输带宽。以下是一些常用的 FASTQ 文件压缩格式及方法。 扫码关注微信公众号【生信F3】获取文章完整信息分享生物信息学最新知识。 压缩格式介绍 压缩格式说明*.gzgzip 程序压缩的文件*.bz2bzip2 程序压缩的文件*.xzxz 程序压缩的文件*.rfqrepaq 程序压缩的文件 压缩指令通常仅能针对一个文件来压缩与解压缩打包软件 tar 可以将很多文件或目录打包成为一个文件后来的 GNU 计划将整个 tar 与压缩的功能结合在了一起为使用者提供了更方便且更强大的压缩与打包功能 打包压缩格式说明*.tartar 程序打包的文件并未压缩*.tar.gztar 程序打包的文件并且经过 gzip 的压缩*.tar.xztar 程序打包的文件并且经过 xz 的压缩*.tar.bz2tar 程序打包的文件并且经过 bzip2 的压缩 压缩指令 压缩格式压缩指令*.gzgzip test.fq不保留源文件 test.fq并生成 test.fq.gz*.gzgzip -c test.fq test.fq.gz保留源文件*.bz2bzip2 test.fq不保留源文件 test.fq并生成 test.fq.bz2*.bz2bzip2 -c test.fq test.fq.bz2保留源文件*.xzxz test.fq不保留源文件 test.fq并生成 test.fq.xz*.xzxz -c test.fq test.fq.xz保留源文件*.rfqrepaq -c -i test.fq -o test.fq.rfq保留源文件*.rfq.xzrepaq -c -i test.fq -o test.fq.rfq.xz保留源文件 参数说明 -c将压缩的数据输出到屏幕上gz/bz2/xz可透过数据流重导向 来处理。 不同格式压缩比与所需运行时间 以大约 5.66 GB 大小的 test.fq 文件为例仅供参考不同运行平台的结果可能略有差异。 压缩格式压缩比所占源文件的比例运行时间*.gz18.0%节省 82.0% 存储空间8m10s*.bz213.7%节省 86.3% 存储空间7m15s*.xz11.4%节省 88.6% 存储空间48m25s*.rfq21.3%节省 78.7% 存储空间58s*.rfq.xz8.20%节省 91.8% 存储空间8m25s 以此来看 bz2 略优于 gz与 gz 相比不仅所需运行时间较少还取得了更好的压缩效果。 xz 的压缩效果最佳但所需时间成本最高大约为 gz 压缩的 6 倍。考虑到其与 gz 和 bz 压缩比的差距仅有约 6.6% 和 2.3%其性价比并不理想。 rfq 的运行时间最少约为 gz 压缩的十分之一但压缩效果相对最差。 rfq.gz 的综合效益最高在所需运行时间相对较少的条件下取得了最好的压缩效果。与 gz 压缩相比其耗费的运行时间大致相同但却节省了超过一半的存储空间。 打包压缩指令 tar 可以将多个目录或文件打包成一个大文件同时还可以透过 gzip/bzip2/xz 的支持将该文件同时进行压缩。 tar [-z|-j|-J] [cv] [-f] 待建立的新文档名 要被压缩的文件或目录名称 例如tar -zcvf test.fq.tar.gz test.fq 参数说明 -z透过 gzip 的支持进行压缩/解压缩此时压缩文档名应为 *.tar.gz -j透过 bzip2 的支持进行压缩/解压缩此时压缩文档名应为 *.tar.bz2 -J透过 xz 的支持进行压缩/解压缩此时压缩文档名应为 *.tar.xz -ccreate建立打包文件搭配 -v 来查看过程中被打包的文件或目录名称 -v在压缩/解压缩的过程中将要被打包的文件或目录名显示出来 -f后面要立刻接等待建立的新压缩文档名再后面为要被压缩的一个或多个文件或目录名称。 值得注意的是根据 tar 打包出的文件是否压缩有不同的称呼如果仅是打包 tar -cvf test.fq.tar这个文件就被称为 tarfile。如果在打包后进行了压缩类似 test.fq.tar.gz 的文件就会被称为 tarball可以想象为将一整包物品狠狠的压缩成一团以减少体积 ^_^ 解压指令 压缩格式解压指令*.gzgzip -d test.fq.gz不保留压缩文件生成 test.fq*.gzgzip -dc test.fq.gz test.fq保留压缩文件*.bz2bzip2 -d test.fq.gz不保留压缩文件生成 test.fq*.bz2bzip2 -dc test.fq.gz test.fq保留压缩文件*.xzxz -d test.fq.gz不保留压缩文件生成 test.fq*.xzxz -dc test.fq.gz test.fq保留压缩文件*.rfqrepaq -d -i in.rfq -o out.fq保留压缩文件*.rfq.xzrepaq -d -i in.rfq.xz -o out.fq保留压缩文件 打包解压指令 tar [-z|-j|-J] [xv] [-f] 既有的tar文档名 [-C 欲放置解压缩文档的目录] 例如tar -zxvf test.fq.tar.gz 将解压 test.fq.tar.gz 文件到当前目录如果想要解压缩到家目录加上 -C /home 即可。 压缩软件安装 bzip2 是一个非常有名的压缩工具存在于大多数主流 Linux 发行版中可以在不同发行版上用合适的命令安装。 sudo apt install bzip2 # [On Debian/Ubuntu] sudo yum install bzip2 # [On CentOS/RHEL]sudo dnf install bzip2 # [On Fedora 22] xz 的安装参考官网https://tukaani.org/xz/ repaq 的安装和使用参考https://github.com/OpenGene/repaq值得注意的是生成 .repaq.xz 格式需要先安装 xz 软件作为依赖哦 扫码关注微信公众号【生信F3】获取文章完整信息分享生物信息学最新知识。 本文由 mdnice 多平台发布
