代码之家 › 专栏 › 技术社区 › justinian482

在管道中获取md5sum

md5sum archive tar pipe bash

justinian482 · 技术社区 · 3 年前

我正在创建非常大的目录的存档,并将这些存档拆分为更小的部分,如下所示:

tar -vcz target_dir | pigz > target_dir.tar.gz

md5sum target_dir.tar.gz > md5sum.txt

split -n 10 target_dir.tar.gz target_dir.tar.gz.part-

这种方法的问题是,我基本上需要两倍于tar.gz文件的空间,这是有问题的,因为一些目标目录是巨大的(TB)。

我可以用管道 tar 输出到 split 以减少所需的磁盘空间:

tar -vcz target_dir | pigz | split -n 10 - target_dir.tar.gz.part-

但是,在tar.gz文件进入之前,我该如何计算它的md5sum 分裂 ?

1 回复 | 直到 3 年前

KamilCuk 3 年前

使用 tee 分流。使用bash进程替换使用来自临时fifo的输入来运行临时进程。

tar -vcz target_dir |
    pigz |
    tee >(md5sum > md5sum.txt) |
    split -n 10 - target_dir.tar.gz.part-

推荐文章

twisted · 将apache2 CustomLog管道传输到以其他用户身份运行的程序

4 年前

jjmerelo · 使用Proc::Async从绑定管道读取

8 年前

Vingtoft · 使用管道的Python多进程无阻塞内部通信

8 年前

marc · grep pipe sed命令

8 年前

madsantos · Bash-在不停止tail的情况下对每个grep通信运行命令-n0-f

8 年前

loretoparisi · 使用xargs将输入文件参数重定向到bash命令

8 年前

Wolfat · 无法从C中的管道执行读取?

8 年前

E.S. · Java-重定向进程输入/输出(管道)暂停[重复]

8 年前

AbhiNickz · 如何捕获通过管道传输到Rust程序的流程的输出?

8 年前

Arka Pal · 关闭管道中未使用的端部

8 年前