代码之家 › 专栏 › 技术社区 › aerin

无法访问测试数据时的超参数调整

hyperparameters machine-learning

0

aerin · 技术社区 · 7 年前

https://rajpurkar.github.io/SQuAD-explorer ).斯坦福没有发布测试集。它只为我们提供培训和开发数据集。

我的问题是:

所以我想知道我是否应该将训练集进一步分离为train和dev,并在一个新分离的dev集上调整hyperparams,而不是斯坦福给出的dev集,因为我们使用“dev”集作为“test”集。我不知怎么作弊了吗?我是否需要从现有列车数据中创建另一个“dev”数据,将其进一步拆分,并调整那里的超参数,并检查给定“dev”集上的性能编号?

2 回复 | 直到 7 年前

1

Rohit Pandey 7 年前

2

1

LOrD_ARaGOrN 7 年前

通过交叉验证,您可以轻松做到这一点。它会为你做这一切。这里的优点是假设你想把训练集分成10组。培训需要9套,验证需要1套。这样它将运行10次,然后取最佳3的平均值(如果你给出最佳3参数集)。