代码之家 › 专栏 › 技术社区 › Jenia Golbstein

对于多GPU机器,“rescale\u grad”的正确值是多少?

mxnet keras deep-learning

Jenia Golbstein · 技术社区 · 7 年前

我的批量大小是512,我有8个GPU

我应该定义: 重新缩放梯度 重新缩放梯度 = 1. / (8*512)

谢谢

1 回复 | 直到 7 年前

Viacheslav V Kovalevskyi 7 年前

批量大小与计算机有关,而与GPU无关。报价(来自 here ):

工作负载分区

默认情况下,MXNet在可用的迭代每个GPU将在b/k示例上向前和向后执行。

对你来说 b 是512。因此,您应该使用 rescale_grad = 1. / 512

推荐文章

rifqi affan maulana · 使用lfw数据集进行数据训练时验证精度低

7 月前

Aven user26470772 · TensorFlow-ValueError:参数`output`必须具有rank(ndim)`target.ndim-1`

1 年前

Kamugg · 在PyTorch中使用不同分辨率图像训练DeepLabV3的最佳实践

1 年前

P4ts4k · 如何修复此tensorflow代码中的TypeError?

1 年前

Fatemeh · 如何从使用nn训练和保存的模型加载检查点。DataParallel到不使用nn的模型上。DataParallel?

1 年前

Arvin · 加载json模型时出现Python tensorflow keras错误:找不到类“Sequential”

1 年前

leone · ValueError:输入数据应为非空

1 年前

akozel · 分类任务的tensorflow输出层配置

1 年前

A J · 为什么我的动态神经网络有0个参数?

1 年前

manoj · 训练exception模型keras-批量大小32给出错误,但它适用于批量大小=16

1 年前