代码之家  ›  专栏  ›  技术社区  ›  mrgloom

有大量课程的Softmax?

deep-learning machine-learning
  •  -1
  • mrgloom  · 技术社区  · 7 年前

    对大量类(例如10k)使用softmax是否有任何概念问题或数值稳定性问题?

    1 回复  |  直到 7 年前
        1
  •  0
  •   Merdan Memtimin    7 年前

    Softmax本身不会出现任何问题。但是由于网络的L2范数误差,如果你真的有一个10k类要分类,那么权重上的一小部分数值将导致最新层输出的巨大差异。

    推荐文章
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号