Hardmax算子背后的理论支撑

在tensor flow Github存储库中 attentionwrapper.py tf.contrib.seq2seq.hardmax

我想知道为hardmax操作员提供此功能背后的理论基础是什么。过去几周谷歌搜索的初步迹象并没有让我对这个概念有具体的理解。

1. 如果softmax是可微的(soft),为什么要使用hardmax?如果它不能用于反向传播(由于梯度计算需要不可微性),它还能在哪里使用?

2. 强化学习文献讨论软硬注意。但是我没有看到具体的例子,也没有解释 tf.contrib.seq2seq.hardmax公司 实际上可以用在一些RL模型中。

3. 从表面上看,既然seq2seq中提到了它,它显然应该在自然语言处理中有一些应用。但具体在哪里?有大量的NLP任务。找不到任何使用hardmax的直接任务SOTA算法。