代码之家 › 专栏 › 技术社区 › Matthijs van Kesteren

为什么我的精确回忆和ROC曲线不平滑?

random-forest classification scikit-learn machine-learning python

Matthijs van Kesteren · 技术社区 · 8 年前

我有一些标记为0或1的数据,我正试图使用随机林来预测这些类。每个实例都标有20个用于训练随机林的功能(约30000个训练实例和约6000个测试实例)。

我正在使用以下代码绘制精度恢复和ROC曲线:

precision,recall,=precision_recall_curve(y_test,y_pred)
plt.step(回忆,精度,颜色='b',alpha=0.2,其中='post')
请在两者之间填充_(回忆,精度,步骤='post',alpha=0.2,color='b')

fpr,tpr,=roc_曲线(y_测试,y_pred)
roc_auc=auc(fpr,tpr)
plt.plot(fpr,tpr,color='darkorange',lw=2,label='roc curve(area=%0.2f)'%roc_auc)
plt.plot([0,1],[0,1],color='navy',lw=2,linestyle=--')
到目前为止,我看到的所有pr和roc曲线在精度/召回方面总是呈锯齿状/平滑下降,而roc线则呈平滑/锯齿状增长。但出于某种原因,我的pr和roc曲线总是这样:



出于某种原因,只有一个点可以改变方向。这是因为我的编码错误还是数据/分类问题固有的原因?如果是这样,如何解释这种行为?

我正在使用以下代码绘制精度调用和ROC曲线:

precision, recall, _ = precision_recall_curve(y_test, y_pred)
plt.step(recall, precision, color='b', alpha=0.2,where='post')
plt.fill_between(recall, precision, step='post', alpha=0.2, color='b')

fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')


到目前为止,我看到的所有pr和roc曲线在精度/召回方面总是呈锯齿状/平滑下降,而roc线则呈平滑/锯齿状增长。但出于某种原因,我的pr和roc曲线总是这样:



出于某种原因,只有一个点可以改变方向。这是因为我的编码错误还是数据/分类问题固有的原因?如果是这样,如何解释这种行为?

2 回复 | 直到 8 年前

phngs 8 年前

我怀疑您使用了RandomForestClassifier.Predict()方法,该方法根据预测的类生成0或1。

要获得概率,即投票给特定类的树的分数,必须使用randomforestClassifier.predict_Proba()方法。

使用这些概率作为曲线计算的输入应该可以解决这个问题。

编辑:Scikit的曲线创建方法首先根据预测得分对预测进行排序,然后根据其实际/观察值对预测进行排序,因此曲线具有这些“弯曲”。

seralouk 8 年前

在 precision_recall_curve , the y_pred 一定是 probabilities 目标类的 而不是 实际预测类。

因为你用的是 RandomForestClassifier 使用 predict_proba(X) 得到概率。

rf = RandomForestClassifier()
probas_pred = rf.predict_proba(X_test)

precision, recall, _ = precision_recall_curve(y_true, probas_pred)
plt.step(recall, precision, color='b', alpha=0.2,where='post')
plt.fill_between(recall, precision, step='post', alpha=0.2, color='b')