代码之家  ›  专栏  ›  技术社区  ›  demalegabi

感知器训练规则,为什么乘以x

perceptron neural-network machine-learning
  •  0
  • demalegabi  · 技术社区  · 7 年前

    我在读汤姆·米切尔的机器学习书,他提到了感知训练规则的公式是

    enter image description here

    哪里

    enter image description here

    • enter image description here :培训率
    • enter image description here :预期输出
    • enter image description here :实际输出
    • enter image description here :ith输入

    这意味着如果 enter image description here 是非常大的,那么也是 enter image description here 但是我不明白大更新的目的是什么时候 enter image description here 是大的

    相反,我觉得 enter image description here 那么更新应该很小,因为 enter image description here 将导致最终产量的巨大变化(由于 enter image description here )

    1 回复  |  直到 7 年前
        1
  •  2
  •   phoxis    7 年前

    调整是向量加和减,可以认为是旋转一个超平面,这样类 0 属于一个部分和类 1 落在另一部分。

    考虑 1xd 权重向量 enter image description here 指示感知器模型的权重。另外,考虑 1xD 数据点 enter image description here . 那么,考虑到线性阈值而不丧失一般性,感知器模型的预测值将是

    enter image description here --式1

    这里“.”是点积,或者

    enter image description here

    方程上的超平面是

    enter image description here

    (为了简单起见,忽略权重更新的迭代索引)

    让我们考虑一下我们有两个班 零 和 一 同样,在不丧失一般性的情况下,数据点被标记为 零 落在超平面方程1<=0的一侧,并标记数据点 一 落在等式1>0的另一侧。

    向量,即 正常的 到这个超平面是 enter image description here . 带有标签的数据点之间的角度 零 应该更多 90 度和带有标签的数据点之间的数据点 一 应该小于 九十 度。

    有三种可能性 enter image description here (忽略培训率)

    • enter image description here :表示此示例按当前权重集正确分类。因此,我们不需要对特定数据点进行任何更改。
    • enter image description here 暗示目标是 一 但目前的一组权重将其分类为 零 . EQ1。 enter image description here 本来应该是 enter image description here . EQ1.在这种情况下是 enter image description here ,表示 enter image description here 和 enter image description here 是 更重要的是 九十 度,应该更小。更新规则是 enter image description here . 如果你想象一个二维的向量加法,这将旋转超平面,使 enter image description here 和 enter image description here 比以前更接近并且小于 九十 度。
    • enter image description here 暗示目标是 零 但目前的一组权重将其分类为 一 . EQ1。 enter image description here 本来应该是 enter image description here . EQ1.在这种情况下是 enter image description here 指示之间的角度 enter image description here 和 enter image description here 是 小一点的那个 九十 度,应该更大。更新规则是 enter image description here . 类似地,这将旋转超平面,以便 enter image description here 和 enter image description here 大于 九十 度。

    这是迭代和超平面,超平面旋转和调整,使超平面法向的角度小于 九十 带有标记类的数据点的度数 一 大于 九十 标记类的数据点的度数 零 .

    如果 enter image description here 如果是巨大的,将会有很大的变化,因此它会在过程中引起问题,并且可能需要更多的迭代来收敛,这取决于初始权重的大小。因此,将数据点标准化或标准化是一个好主意。从这个角度来看,很容易直观地看到更新规则正在做什么(将偏差视为超平面方程1的一部分)。现在将其扩展到更复杂的网络和或具有阈值的网络。

    推荐阅读和参考: Neural Network, A Systematic Introduction by Raul Rojas :第4章

    推荐文章
    Whitedevil4648  ·  我的测试损失在增加,但神经网络的训练损失在减少。我该怎么办?
    1 年前
    akozel  ·  分类任务的tensorflow输出层配置
    1 年前
    Felix Spiers  ·  更改NN中隐藏层的数量会导致错误
    1 年前
    A J  ·  为什么我的动态神经网络有0个参数?
    1 年前
    Owen  ·  如何使结构中的变量带有指向非静态成员函数的指针?[副本]
    1 年前
    Matheus Felipe  ·  关于并行运行神经网络的最佳方式的建议
    1 年前
    Irene Ferfoglia  ·  ImportError:无法从“ray.air”导入名称“Checkpoint”
    1 年前
    Harry  ·  如何使用神经网络进行分类
    1 年前
    Tolga Aktas  ·  PyTorch中的register_forward_hook和register_module_forward_hook之间有什么区别?
    1 年前
    DouHuanmin  ·  除了使用Tanh()函数外,还有什么规则可以用来将嵌入向量约束在(-1,1)的范围内吗?
    1 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号