PyTorch:如何在任何给定时刻更改优化器的学习速率(无LR计划)

因此,学习率存储在 optim.param_groups[i]['lr'] optim.param_groups 是一个不同体重组的列表,这些体重组可以有不同的学习率。因此,只需执行以下操作:

for g in optim.param_groups:
    g['lr'] = 0.001

会成功的。

或者,

如评论中所述,如果您的学习速度仅取决于历元数,则可以使用 learning rate scheduler .

例如(修改文档中的示例):

torch.optim.lr_scheduler import LambdaLR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
# Assuming optimizer has two groups.
lambda_group1 = lambda epoch: epoch // 30
lambda_group2 = lambda epoch: 0.95 ** epoch
scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()

而且 ,有一个 prebuilt learning rate scheduler to reduce on plateaus.

而不是循环输入 patapouf_ai's answer ,您可以通过以下方式直接执行:

optim.param_groups[0]['lr'] = 0.001