代码之家 › 专栏 › 技术社区 › sww

Pytorch隐藏状态LSTM

rnn pytorch lstm

sww · 技术社区 · 8 年前

为什么我们需要在pytorch的LSTM中初始化隐藏状态h0。因为h0无论如何都会被计算并被覆盖?是不是

内景a a=0

a=4

即使我们不做a=0,也应该没问题。。

1 回复 | 直到 8 年前

nemo 8 年前

关键是您能够提供初始状态,这是一个特性。他们本可以将其作为默认值实现,但通过让您控制张量的分配,您可以节省一些内存(分配一次,每次调用都归零)。

为什么需要设置 h ?序列到序列模型需要这样做(将输入压缩到一个向量,将此向量用作解码器的隐藏状态),或者您可能希望使初始状态可学习。

推荐文章

Saffy · 如何在IterableDataset上应用最小最大缩放?

1 年前

sanjeev mk · 通过索引从Pytorch或Numpy 2D数组中快速删除多行的方法

1 年前

Anonymous · 如何为零维火炬张量赋值?

1 年前

JohnnyWang97 · getattr引起的有趣错误

1 年前

Kamugg · 在PyTorch中使用不同分辨率图像训练DeepLabV3的最佳实践

1 年前

Stocavista · 无法在python中将float 64转换为float 32

1 年前

efwefwefwefwefw wefwefwefwef · 如何在PyTorch Conv1d层中仅在一侧应用填充?

2 年前

Okhr · 运行时错误:CUDA错误:在带有GTX 1660 Super的Debian 12虚拟机上不支持此操作

2 年前

Fatemeh · 如何从使用nn训练和保存的模型加载检查点。DataParallel到不使用nn的模型上。DataParallel?

2 年前

Twenkid · 将GPT2 h5型号转换为割炬,以转换为ggml形状不匹配

2 年前