代码之家 › 专栏 › 技术社区 › aerin

pytorch-loss.backward()和optimizer.step()之间的连接

gradient-descent pytorch neural-network machine-learning

aerin · 技术社区 · 7 年前

哪里是 optimizer 以及 loss ?

在没有调用的情况下,优化器如何知道从何处获取损失的梯度呢? optimizer.step(loss) ?

-更多的上下文

当我最小化损失时,我不需要将梯度传递给优化器。

loss.backward() # Back Propagation
optimizer.step() # Gardient Descent

1 回复 | 直到 7 年前

Shai 7 年前

optimizer 您明确地告诉它应该更新模型的哪些参数(张量)。梯度由张量本身“存储”(它们有一个 grad 和A requires_grad backward() optimizer.step() 使优化器迭代它应该更新的所有参数(张量),并使用其内部存储的参数

推荐文章

Whitedevil4648 · 我的测试损失在增加,但神经网络的训练损失在减少。我该怎么办?

2 年前

akozel · 分类任务的tensorflow输出层配置

2 年前

Felix Spiers · 更改NN中隐藏层的数量会导致错误

2 年前

A J · 为什么我的动态神经网络有0个参数?

2 年前

Owen · 如何使结构中的变量带有指向非静态成员函数的指针?[副本]

2 年前

Matheus Felipe · 关于并行运行神经网络的最佳方式的建议

2 年前

Irene Ferfoglia · ImportError:无法从“ray.air”导入名称“Checkpoint”

2 年前

Harry · 如何使用神经网络进行分类

2 年前

Tolga Aktas · PyTorch中的register_forward_hook和register_module_forward_hook之间有什么区别?

2 年前

DouHuanmin · 除了使用Tanh()函数外,还有什么规则可以用来将嵌入向量约束在(-1,1)的范围内吗?

2 年前