代码之家 › 专栏 › 技术社区 › Godfrey

pytorch中自定义数据集的数据预处理(transform.Normalize)

pytorch conv-neural-network dataset python

Godfrey · 技术社区 · 7 年前

我正在使用ImageFolder加载数据。图像大小不一。

train_transforms = transforms.Compose([transforms.Resize(size=224),
                                       transforms.ToTensor(),  transforms.Normalize((?), (?))
                                       ])
train_dataset = datasets.ImageFolder(root='roota/',
                                     transform=train_transforms)

1 回复 | 直到 7 年前

Monster 7 年前

如果你计划从头开始训练你的网络,你可以计算你的数据集的统计数据。数据集的统计数据是预先计算的。你可以用 ImageFolder 循环遍历图像以计算数据集统计信息。例如,伪代码-

for inputs, labels in dataloaders:
    # Calculate mean and std dev 
    # save for later processing

通常,CNN会与其他较大的数据集(如Imagenet)一起进行预训练,主要是为了减少训练时间。如果您使用的是预训练网络,则可以使用原始数据集的平均值和标准偏差进行培训。

推荐文章

Saffy · 如何在IterableDataset上应用最小最大缩放?

1 年前

sanjeev mk · 通过索引从Pytorch或Numpy 2D数组中快速删除多行的方法

2 年前

Anonymous · 如何为零维火炬张量赋值?

2 年前

JohnnyWang97 · getattr引起的有趣错误

2 年前

Kamugg · 在PyTorch中使用不同分辨率图像训练DeepLabV3的最佳实践

2 年前

Stocavista · 无法在python中将float 64转换为float 32

2 年前

efwefwefwefwefw wefwefwefwef · 如何在PyTorch Conv1d层中仅在一侧应用填充?

2 年前

Okhr · 运行时错误:CUDA错误:在带有GTX 1660 Super的Debian 12虚拟机上不支持此操作

2 年前

Fatemeh · 如何从使用nn训练和保存的模型加载检查点。DataParallel到不使用nn的模型上。DataParallel?

2 年前

Twenkid · 将GPT2 h5型号转换为割炬,以转换为ggml形状不匹配

2 年前