代码之家  ›  专栏  ›  技术社区  ›  Fractale

数据集不平衡时多类分类的最佳损失函数?

pytorch computer-vision deep-learning machine-learning tensorflow
  •  2
  • Fractale  · 技术社区  · 7 年前

    我目前正在使用交叉熵损失函数,但对于不平衡数据集,性能不是很好。

    有更好的功能丧失吗?

    1 回复  |  直到 7 年前
        1
  •  11
  •   Shai    7 年前

    它是一个 主题广泛,但我想,你应该试试 focal loss :由 Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He and Piotr Dollar 处理目标检测中的不平衡预测。自从引入以来,它也被用于分词。
    焦距损失的概念是在强调误差梯度的同时,减少损失和梯度,以便进行正确(或几乎正确)的预测。

    如图所示:
    enter image description here

    蓝色曲线是规则的交叉熵损失:一方面,即使分类良好的例子,它也有不可忽略的损失和梯度;另一方面,对于分类错误的例子,它有较弱的梯度。

    推荐文章
    Saffy  ·  如何在IterableDataset上应用最小最大缩放?
    10 月前
    sanjeev mk  ·  通过索引从Pytorch或Numpy 2D数组中快速删除多行的方法
    1 年前
    Anonymous  ·  如何为零维火炬张量赋值?
    1 年前
    JohnnyWang97  ·  getattr引起的有趣错误
    1 年前
    Kamugg  ·  在PyTorch中使用不同分辨率图像训练DeepLabV3的最佳实践
    1 年前
    Stocavista  ·  无法在python中将float 64转换为float 32
    1 年前
    efwefwefwefwefw wefwefwefwef  ·  如何在PyTorch Conv1d层中仅在一侧应用填充?
    1 年前
    Okhr  ·  运行时错误:CUDA错误:在带有GTX 1660 Super的Debian 12虚拟机上不支持此操作
    1 年前
    Fatemeh  ·  如何从使用nn训练和保存的模型加载检查点。DataParallel到不使用nn的模型上。DataParallel?
    1 年前
    Twenkid  ·  将GPT2 h5型号转换为割炬,以转换为ggml形状不匹配
    1 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号