在进行内联压缩时,将大的压缩日志文件拆分为X行的压缩块

我想能够切片大的压缩日志文件成部分,其中有一定数量的行(即:100万)。

我 不要 我想使用split,因为它需要完全解压缩原始文件,而且我没有那么多可用的磁盘空间。

到目前为止,我所做的是:

#!/bin/bash
SAVED_IFS=$IFS
IFS=$(echo -en "\n\b")
for file in `ls  *.rar` 
do
    echo Reading file: $file
    touch $file.chunk.uncompressed
    COUNTER=0
    CHUNK_COUNTER=$((10#000))
    unrar p $file while read line; 
    do
        echo "$line" >> $file.chunk.uncompressed
        let COUNTER+=1
        if [ $COUNTER -eq 1000000 ]; then
            CHUNK_COUNTER=`printf "%03d" $CHUNK_COUNTER;`
            echo Enough lines \($COUNTER\) to create a compressed chunk \($file.chunk.compressed.$CHUNK_COUNTER.bz2\)
            pbzip2 -9 -c $file.chunk.uncompressed > $file.chunk.compressed.$CHUNK_COUNTER.bz2
            #  10# is to force bash to count in base 10, so that 008+ are valid
            let CHUNK_COUNTER=$((10#$CHUNK_COUNTER+1))          
            let COUNTER=0
        fi  
    done
    #TODO need to compress lines in the last chunk too
done
IFS=$SAVED_IFS

我不喜欢的是,我受写和读未压缩块(约15MB/s)的速度限制。 直接从压缩文件中读取未压缩的stram的速度约为80MB/s。