代码之家  ›  专栏  ›  技术社区  ›  jar

了解明显不同的keras lstm api调用

  •  0
  • jar  · 技术社区  · 8 年前

    从 official documentation 我看不出有什么争论 batch_size 和 input_shape 对于LSTM。不过,我见过这样的声明 model.add(LSTM(batch_size, input_shape=(time_steps, features))) 在里面 this 中等文章以及这个 SO post 其中使用 model.add(LSTM(4, batch_input_shape=(batch_size, look_back, 1), stateful=True)) .

    问题1)有人能解释一下这是怎么可能的吗?
    问题2)我无法理解的另一件事是 批量尺寸 尤其是文本分析。如果我想让我的模型从句子中学习,那么我是否应该使用批量为1的句子样本?一般来说,传递给LSTM的论点似乎并不确定。是否有正确使用LSTM的适当指南?

    1 回复  |  直到 8 年前
        1
  •  0
  •   mic    8 年前

    在你的问题中,你提到了

    model.add(LSTM(batch_size, input_shape=(time_steps, features)))
    

    我认为作者误导了你 batch_size 此处使用的术语不正确。正如您在keras API规范中看到的,第一个参数定义了这个“层”中隐藏状态/单位的数量。我看了你链接的中间帖子,我相信可能发生的是 批量尺寸 等于单位数,作者懒惰/穿制服,决定对两者使用相同的常量。自今年5月(当这篇文章写完后)以来,喀拉斯的情况没有任何变化可以解释他们的错误。

    至于这个职位, batch_input_shape 仅适用于有状态的LSTM层。从文档中:

    可以将RNN层设置为“有状态”,这意味着状态 一批样品的计算结果将被重新用作初始状态。 下一批样品。这假设一对一映射 在不同连续批次的样品之间。

    要启用状态性,请执行以下操作:-指定 stateful=True 层中 构造函数。-通过传递为模型指定固定的批大小 如果序列模型: batch_input_shape=(...) 到第一层 你的模型。对于具有1个或多个输入层的功能模型: batch_shape=(...) 到模型中的所有第一层。这就是 输入的预期形状,包括批大小。应该是 整数的元组,例如 (32, 10, 100) . -指定 shuffle=False 什么时候? 打电话 fit() .

    关于你关于 批量尺寸 在文本分析中,它只是指要通过网络传播的样本数。因此,如果你想一次只通过一个句子,你可以把它设为1。问题是你的梯度估计会不太准确。如果可以(内存约束在这里起作用),您应该使用更大的 批量尺寸 .