![]() |
1
2
网络是经常性的,因为您在示例中评估了多个时间步骤。 以下代码也取自 pytorch tutorial you linked to .
因此,网络本身不是循环的,但是在这个循环中,您可以将它作为循环的网络,通过多次将前一步的隐藏状态与批输入一起提供。 您还可以通过在每个步骤中反向传播丢失并忽略隐藏状态来非重复使用它。
这意味着,计算梯度的信息不包含在模型本身中,因此您可以将模块的多个评估附加到图中,然后通过整个图进行反向传播。 这在本教程的前几段中进行了描述。 |