代码之家 › 专栏 › 技术社区 › blue-sky

何时使用学习率查找器

fast-ai gradient-descent pytorch deep-learning machine-learning

-3

blue-sky · 技术社区 · 7 年前

读报纸' 神经网络训练的循环学习率 https://arxiv.org/abs/1506.01186

如果模型过拟合,使用学习率查找器是否有意义?除了在模型过拟合之前减少迭代次数之外,使用学习查找器可以防止过拟合吗?

从阅读这篇文章中没有建议这种减少过拟合的方法,我的解释是正确的吗?

1 回复 | 直到 7 年前

1

0

Umang Gupta 7 年前

我不认为改变学习速度会减少过度适应。为了避免过拟合,您可能需要使用l1/l2正则化和退出或它的一些变体。