代码之家 › 专栏 › 技术社区 › theateist

切线处的解是最优解吗?

regularized gradient-descent neural-network machine-learning

theateist · 技术社区 · 7 年前

根据我的理解 this 文中,蓝圈是水平曲线,蓝点是最小化成本函数的最优解。黄色圆圈是L2范数约束。

我们需要的解决方案是尽可能地最小化成本函数,同时,也在圆圈内。意思是,解是黄色圆和水平曲线之间的切点。

但是,我的问题是,如果切点处的w值不能完全最小化成本函数,那么这是如何解决的呢?只有蓝点才是使成本函数最小化的点。

1 回复 | 直到 7 年前

Jakub Koubele 7 年前

如果没有限制,蓝点最小化成本函数。如果最小化被l2范数约束,那么蓝点就不能是一个解,因为它违反了约束。因此,w*点是解。

使用l2约束的原因是,我们试图最小化测试数据上的错误,而不是列车数据上的错误(即,我们对最小化损失函数没有直接兴趣)。较简单的解(l2范数较小)倾向于过拟合较少,因此我们期望测试和训练误差之间的差距较小(这是可取的)。

推荐文章

Whitedevil4648 · 我的测试损失在增加,但神经网络的训练损失在减少。我该怎么办?

1 年前

akozel · 分类任务的tensorflow输出层配置

1 年前

Felix Spiers · 更改NN中隐藏层的数量会导致错误

1 年前

A J · 为什么我的动态神经网络有0个参数?

1 年前

Owen · 如何使结构中的变量带有指向非静态成员函数的指针?[副本]

1 年前

Matheus Felipe · 关于并行运行神经网络的最佳方式的建议

1 年前

Irene Ferfoglia · ImportError:无法从“ray.air”导入名称“Checkpoint”

1 年前

Harry · 如何使用神经网络进行分类

1 年前

Tolga Aktas · PyTorch中的register_forward_hook和register_module_forward_hook之间有什么区别?

1 年前

DouHuanmin · 除了使用Tanh()函数外,还有什么规则可以用来将嵌入向量约束在(-1,1)的范围内吗?

1 年前