如何将“tf.nn.dynamic”与非rnn组件一起使用

我有一个架构,在输入RNN之前使用编码器。编码器输入形状为 [batch, height, width, channels] rnn输入是shape [batch, time, height, width, channels] . 我想将编码器的输出直接提供给RNN,但这会造成内存问题。我得养活她 batch*time ~= 3*100 (通过重塑)一次将图像放入编码器。我知道 tf.nn.dynamic_rnn 可以利用杠杆 swap_memory ,我也想在编码器中利用这个。下面是一些压缩代码:

#image inputs [batch, time, height, width, channels]
inputs = tf.placeholder(tf.float32, [batch, time, in_sh[0], in_sh[1], in_sh[2]])

#This is where the trouble starts
#merge batch and time
inputs = tf.reshape(inputs, [batch*time, in_sh[0], in_sh[1], in_sh[2]])
#build the encoder (and get shape of output)
enc, enc_sh = build_encoder(inputs)
#change back to time format
enc = tf.reshape(enc, [batch, time, enc_sh[0], enc_sh[1], enc_sh[2]])

#build rnn and get initial state (zero_state)
rnn, initial_state = build_rnn()
#use dynamic unrolling
rnn_outputs, rnn_state = tf.nn.dynamic_rnn(
        rnn, enc,
        initial_state=initial_state,
        swap_memory=True,
        time_major=False)

我目前使用的方法是先对所有图像运行编码器(并保存到磁盘),但我希望执行数据集增强(对图像),这在提取特征后是不可能的。