如何通过索引访问pytorch模块中的层?

如果将层放在python列表中,pytorch不会正确注册它们。你必须使用 ModuleList ( https://pytorch.org/docs/master/generated/torch.nn.ModuleList.html ).

ModuleList可以像常规Python列表一样编制索引,但它包含的模块已正确注册,并且所有模块方法都可以看到。

您的代码应该类似于:

import torch
import torch.nn as nn
import torch.optim as optim

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()

        self.layer_list = nn.ModuleList()  # << the only changed line! <<

        self.layer_list.append(nn.Linear(2,3))
        self.layer_list.append(nn.Linear(3,4))
        self.layer_list.append(nn.Linear(4,5))

    def forward(self, x):
        res_list = [x]
        for i in range(len(self.layer_list)):
            res_list.append(self.layer_list[i](res_list[-1]))
        return res_list

模块主义者 确保所有层都已注册到计算图形中。

还有一个 ModuleDict https://pytorch.org/docs/master/nn.html#containers

它可以列出所有层的神经网络使用

list_layers = model.named_children()

在第一种情况下,您可以使用:

parameters = list(Model1.parameters())+ list(Model2.parameters())
optimizer = optim.Adam(parameters, lr=1e-3)

model = VAE()
optimizer = optim.Adam(model.parameters(), lr=1e-3)

顺便说一下,您可以从修改 VAE example 由Pytorch提供。

init 在这里起作用。