|
|
1
1
这可能取决于你正在处理的具体情况。但一般来说,我对rnn进行零填充或任何类型的填充的唯一原因是使批处理计算工作正常。另外,填充的方式不应该影响结果。因此,它不应该有助于计算用于下游任务的隐藏状态计算。例如,您可以填充来自{t+1:t}的特定序列的结尾,但是对于进一步的任务或处理,我们应该只使用h{0:t} 但是,如果您所做的与简单rnn(例如双向rnn)不同,那么填充可能会很复杂。例如:对于要在末尾填充的正向和反向,要填充序列的前部。
即使对于批处理或并行计算,pytorch也有
|