如何在计算机视觉的多类分类任务中分割数据集?

在机器学习中,在测试集上调整参数总是一个坏主意。对模型的可推广性进行合理近似的唯一方法是在看不见的数据上进行测试。一旦你将建模过程的任何决定建立在测试集的基础上,你就会引入偏差,从而降低真正可推广性的近似值。

我真的不明白为什么你需要评估测试集的性能才能知道模型的发展方向。这也可以在验证集上完成。

我以前遇到过需要第二个验证集的情况,因此将数据集划分为4个块(train、val1、val2、test)。这不是标准的,但也许这可以解决你的情况。