PyTorch的员工数量实际上是如何工作的?

1. 什么时候? num_workers>0 ,只有这些工作人员将检索数据,主进程将不检索数据。因此,当 num_workers=2 您最多有2个工人同时将数据放入RAM,而不是3个。
2. 我们的CPU通常可以像100个进程一样运行,而这些工作进程在任何情况下都不是特别的,所以拥有比CPU核心更多的工作进程是可以的。但是它是有效的吗?这取决于你的CPU核心在其他任务上有多忙,CPU的速度,硬盘的速度等等。总之,这很复杂,所以将工作人员设置为核心的数量就像一个好的经验法则,而不是别的。
3. 不。记得 DataLoader 不是随机返回RAM中的可用内容,而是使用 batch_sampler 决定下一批返回哪个批次。每个批次都分配给一个工人,主进程将等待,直到所分配的工人检索到所需的批次。

最后要澄清的是,这不是 数据阅读器 如果要直接向GPU发送任何内容,则显式调用 cuda() 或者修改 Dataset 的 __getitem__() 方法。