代码之家 › 专栏 › 技术社区 › MatÄj RaÄinský

实例规范化和组规范化缺少更新

tensorflow python

MatÄj RaÄinský · 技术社区 · 7 年前

在TensorFlow中,有众所周知的批处理规范化,它将权重更新操作添加到 tf.GraphKeys.UPDATE_OPS . 但在实例规范化的情况下,没有添加更新操作。使用时 tf.contrib.layer.batch_norm ,我可以指定 is_training 将更新操作添加到集合的参数。但为了 tf.contrib.layer.instance_norm 和 tf.contrib.layer.group_norm 没有这样的参数,也没有OP添加到 tf.graphkeys.update_操作 .

这是正确的行为,还是TensorFlow中的错误?那么,实例规范化中的更新操作是如何工作的呢?

1 回复 | 直到 7 年前

Panfeng Li 7 年前

你应该明白为什么 batch_norm 需要在中添加操作 UPDATE_OPS .

tf.layers.batch_normalization 函数将生成四个变量,即 gamma , beta , moving_mean 和 moving_variance 只有 伽马 , 贝塔 在 tf.GraphKeys.TRAINABLE_VARIABLES .

在培训阶段, 移动平均数 和 移动方差 也需要更新,这样如果我们设置 training 参数为1 tf.layers.batch_规范化 ,函数将相应的ops添加到 tf.GraphKeys.UPDATE_OPS 用于更新 移动平均数 和 移动方差 ,而如果我们设置 训练 参数为0 tf.layers.batch_规范化 ,函数不会对 tf.graphkeys.update_操作 ,因为它不需要更新 移动平均数 和 移动方差 在测试阶段。

至于 group_norm 和 instance_norm ,他们只有 贝塔 和 伽马 变量,已经在 tf.graphkeys.trainable_变量 ,这样就不需要在 tf.graphkeys.update_操作 .

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前