代码之家 › 专栏 › 技术社区 › annadai

在randomforest上计算训练集AUC的两种不同方法得到了不同的结果?

auc prediction random-forest r

annadai · 技术社区 · 8 年前

我使用了两种方法来计算随机森林上训练集的AUC,但我得到了非常不同的结果。这两种方式如下:

rfmodel <- randomForest(y~., data=train, importance=TRUE, ntree=1000)

计算列车组AUC的方式1:

`rf_p_train <- predict(rfmodel, type="prob",newdata = train)[,'yes']  
 rf_pr_train <- prediction(rf_p_train, train$y)  
 r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]] `

rf_p_train <- as.vector(rfmodel$votes[,2]) rf_pr_train <- prediction(rf_p_train, train$y) r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]]

方法1给出的AUC约为1,但方法2给出的AUC约为0.65。我想知道为什么这两个结果如此不同。有人能帮我吗?非常感谢。对于这些数据,我很抱歉不能在这里分享。这是我第一次在这里提问。如果有什么不清楚的地方,请原谅我。谢谢!

2 回复 | 直到 8 年前

Bs He 8 年前

好啊第二种方法是正确的。为什么?因为在第一种情况下 training 将数据作为新数据集,并尝试再次拟合。在第二种方式中,你得到的实际上是所谓的 out of bag 估计,这应该是计算AUC的方法。

JackStat 8 年前

我不确定您使用的是什么数据。如果你能提供一个可复制的例子,那就最好了,但我想我能把它拼凑起来

library(randomForest)
#install.packages("ModelMetrics")
library(ModelMetrics)

# prep training to binary outcome
train <- iris[iris$Species %in% c('virginica', 'versicolor'),]
train$Species <- droplevels(train$Species)

# build model
rfmodel <- randomForest(Species~., data=train, importance=TRUE, ntree=2)

# generate predictions
preds <- predict(rfmodel, type="prob",newdata = train)[,2]

# Calculate AUC
auc(train$Species, preds)

# Calculate LogLoss
logLoss(train$Species, preds)

推荐文章

Mikz · 随机林中列车和测试数据拆分查询

8 年前

OBarros · RandomForestClassifier用于多类分类Spark 2。x个

8 年前

jlab · 错误:使用光栅属性表(RAT)时,新数据中的预测值与训练数据中的预测值不匹配

8 年前

Randoms · R: 检查培训数据中的变量

8 年前

C. Zed · 为什么我的新数据会得到同样的预测?

8 年前

mlee_jordan · 尽管交叉验证结果非常成功,但与随机林过度拟合

8 年前