多线程压缩文件目录:tar + pigz
通常我们使用的 tar 压缩工具为单线程，无法充分利用服务器的性能，面对大文件会浪费很多时间。pigz 是 GZip 的并行版(pigz，即 Parallel Implementation of GZip)，作者为 Mark Adler。它充分利用了现代多核处理器的性能，大幅提高压缩解压的速度。
安装 pigz 和 tar
sudo yum -y install pigz
sudo yum -y install tar
压缩示例
单线程
time tar -czvf SRR14703936.tar.gz SRR14703936
运行时间
real 4m37.488s
user 4m30.328s
sys 0m13.252s
多线程
time tar -cvf SRR14703936.tar.gz SRR14703936 -I pigz
运行时间
real 0m15.803s
user 6m53.076s
sys 0m17.854s
使用单线程需要4分37秒，而使用多线程只需要15秒，多线程的速度是单线程的几十倍，因此当我们压缩大文件的时候，推荐使用pigz进行多线程压缩，能够充分利用服务器资源以及节省时间。
感兴趣，请联系 bitslife
逻捷科技业务包括高通量测序服务，生物信息数据分析和研发服务，生物信息一体机以及生物信息基础云计算服务。