代码之家 › 专栏 › 技术社区 › FiReTiTi

pytorch数据加载器和并行性

pytorch

FiReTiTi · 技术社区 · 6 年前

我已经创建了一个类,它扩展数据集来为分割任务加载图像,因此一个输入和一个输出。每次调用getItem方法时,该类都会对输入和输出执行必要的数据扩充操作,并且工作得很好。

但是,当我将这个类用于pytorch数据加载器时,输入转换与输出转换不匹配。要执行相同的操作,我必须获取/设置随机操作/类的状态,我敢打赌数据加载器也会执行相同的操作,因此它们之间存在冲突。

我怎么修?

1 回复 | 直到 6 年前

FiReTiTi 6 年前

解决方案是创建所有随机类使用的本地实例,因为数据加载器没有。这样,执行的所有随机转换都是根据不受数据加载器影响的随机值/状态进行的。通常的方法是创建一个类并将所有的转换放在里面。

推荐文章

Saffy · 如何在IterableDataset上应用最小最大缩放?

5 月前

sanjeev mk · 通过索引从Pytorch或Numpy 2D数组中快速删除多行的方法

1 年前

Anonymous · 如何为零维火炬张量赋值?

1 年前

JohnnyWang97 · getattr引起的有趣错误

1 年前

Kamugg · 在PyTorch中使用不同分辨率图像训练DeepLabV3的最佳实践

1 年前

Stocavista · 无法在python中将float 64转换为float 32

1 年前

efwefwefwefwefw wefwefwefwef · 如何在PyTorch Conv1d层中仅在一侧应用填充?

1 年前

Okhr · 运行时错误:CUDA错误:在带有GTX 1660 Super的Debian 12虚拟机上不支持此操作

1 年前

Fatemeh · 如何从使用nn训练和保存的模型加载检查点。DataParallel到不使用nn的模型上。DataParallel?

1 年前

Twenkid · 将GPT2 h5型号转换为割炬,以转换为ggml形状不匹配

1 年前