代码之家 › 专栏 › 技术社区 › andyortlieb

多个备份作业同时进行:理论与实践

backup multithreading linux

andyortlieb · 技术社区 · 14 年前

在用python为Linux设计一个相当简单的备份系统时,我发现自己在问这个问题, 同时备份多个数据集/存档是否有时间优势?

另一方面,如果使用像bz2这样的东西,多线程是否有优势,因为对CPU的更高需求将减少I/O需求?或者这是一次清洗,因为所有线程都在做本质上相同的事情,因此共享相同的瓶颈?

1 回复 | 直到 14 年前

nmichaels 14 年前

这取决于你的系统。如果您有多个磁盘,那么将备份作业并行化是非常值得的。如果有多个处理器,那么并行压缩多个作业可能是值得的。

如果处理器足够慢(磁盘也足够快),压缩使您的CPU成为瓶颈,您将在多核或超线程处理器上获得一些收益。如果您的CPU能够跟上驱动器的读取速度,那么压缩数据所减少的I/O需求几乎可以肯定是一个胜利。

推荐文章

Bass · @Volatile lateinit变量可以在Kotlin中使用DCL模式进行原子初始化吗?

5 月前

bepopov · 无法在继承的Thread类中将值设置为Inheritable ThreadLocal字段

6 月前

Starnec · Anticapte FileHooser关闭以中止正在运行的任务

7 月前

user107586 · 如何处理等待句柄不会导致无限循环?

7 月前

ron burgundy · 获取-释放语义是否跨线程传递?[副本]

7 月前

BenjiFB · C#内存缓存:在一次操作中追加到列表?

7 月前

Adam Rutledge · 让父线程在初始化子线程pthread后等待,直到它从子线程接收到一些信号的最佳方法是什么?

7 月前

András Takács · Python多线程问题

11 月前

András Takács · Python多线程错误

11 月前

eden sson · 使用std::thread和native_handle()设置线程关联掩码

11 月前