seq2seq学习中解码器的条件是什么?

有很多方法可以将编码器输出输入解码器;要么继续将其输入解码器,要么允许它实例化解码器隐藏状态(直接或在浅转换之后),或者甚至在将解码器输出与编码器输出连接起来之后,再将两者传递给最终的输出预测。(见Cho等人14)。一般来说,你输入到解码器中的每一个额外向量都会以相当不利的条件来衡量其计算复杂度;例如,如果你决定在每个步骤中输入编码器输出e,你将输入空间从__-增加到_-x+e_-这意味着参数空间增加了e*h(在简单的RNN情况下,i.e.不考虑门控),其中h是您的隐藏尺寸。这确实增加了网络的容量,但也有过大的趋势,但有时这是必要的(例如,当您试图解码成长输出序列时,在这种情况下,网络需要不断“提醒”其工作内容)。

在任何情况下,形式主义都是一样的;解码器总是以编码器输出为条件的,因此您将总是最大化p(y _T Y _T-1 …Y ₀ ,x)--区别在于您决定如何将输入上下文考虑到模型中。