代码之家 › 专栏 › 技术社区 › MBT Nina Golyandina

PyTorch LSTM州

pytorch lstm python

MBT Nina Golyandina · 技术社区 · 8 年前

考虑剪下以下代码:

lstm = nn.LSTM(10, 5, batch_first=True)
states = (torch.rand(1, 1, 5), torch.rand(1, 1, 5))
h, states = lstm(torch.rand(1, 1, 10), states)
print('h:')
print(h)
print('states[0]:')
print(states[0])

输出:

h:
tensor([[[0.2808, 0.3357, 0.1290, 0.1413, 0.2648]]], grad_fn=<TransposeBackward0>)
states[0]:
tensor([[[0.2808, 0.3357, 0.1290, 0.1413, 0.2648]]], grad_fn=<ViewBackward>)

因为我必须交出 states forward() 不管怎样,我更喜欢用 states[0] 结束 h

我刚刚注意到 grad_fn 是不同的,因此我想知道如果使用 小时 或 国家 以便进一步计算输出。

国家[0] 但我也很想知道为什么会不同。

提前谢谢!

1 回复 | 直到 8 年前

Alex 8 年前

这是最佳实践,使用起来更直观 h 或(通常称为 output states dynamic_rnn 看看为什么会这样。

这说明你是对的,事实上没有什么不同。我不知道为什么 grad_fn

import torch
from torch import nn

lstm = nn.LSTM(10, 5, batch_first=True)
state = (torch.rand(1, 1, 5), torch.rand(1, 1, 5))
inp = torch.rand(1, 1, 10)
h, states = lstm(inp, state)

param = next(lstm.parameters())

l1 = h.sum()
l1.backward(retain_graph=True)
g1 = param.grad.clone()

param.grad.zero_()

l2 = states[0].sum()
l2.backward(retain_graph=True)
g2 = param.grad.clone()

print((g1 == g2).all())  # 1

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前