代码之家 › 专栏 › 技术社区 › Oblomov

用更多的空间延迟获得较低的mse是否合理?

keras-layer keras deep-learning machine-learning

0

Oblomov · 技术社区 · 8 年前

我观察到

SpatialDropout2D(0.2)

在5个卷积2D层中的每一层之后,训练和验证误差在前几个周期期间比在没有这些丢失层的相同网络中低得多(所有其他都相等)。这似乎违反了直觉,因为如果中间结果被随机丢弃,我预计优化例程在找到最小值时会遇到更多困难。

那么,我的观察是否可信?如果是,为什么?

1 回复 | 直到 8 年前

1

Sergii Gryshkevych 8 年前

一般来说,辍学是用于打击过度拟合的技术之一。预计这将减少测试误差,但不会减少训练误差。相反,当模型停止过度拟合时,训练误差可能会上升。

我建议在 Deep Learning textbook ,第7.12节。