带tf的张量流梯度。NaN本不应该返回的地方

如中所述 github issue 由@mikkola提供,问题源于 tf.where .基本上,两个备选方案(及其梯度)都是计算出来的,只有正确的部分是通过条件乘法选择的。唉,如果梯度是 inf 或 nan 对于以下部分 不 选中,即使乘以0,也会得到 南安 最终传播到结果。

自2016年5月发布以来(即tensorflow v0.7!)由于没有修补,人们可以放心地认为这不会很快出现,并开始寻找解决方法。

最简单的修复方法是修改语句,使它们始终有效且可微,即使对于不打算选择的值也是如此。

一般的技术是将输入值裁剪到其有效域内。因此,以您的情况为例,您可以使用

cond = tf.less(x, 0.0)
output = tf.where(cond,
  -tf.log(-tf.where(cond, x, 0) + 1),
  tf.log(tf.where(cond, 0, x) + 1))

但是,在您的特定情况下,仅使用

output = tf.sign(x) * tf.log(tf.abs(x) + 1)