代码之家 › 专栏 › 技术社区 › annadai

在randomforest上计算训练集AUC的两种不同方法得到了不同的结果?

auc prediction random-forest r

annadai · 技术社区 · 7 年前

我使用了两种方法来计算随机森林上训练集的AUC,但我得到了非常不同的结果。这两种方式如下:

rfmodel <- randomForest(y~., data=train, importance=TRUE, ntree=1000)

计算列车组AUC的方式1:

`rf_p_train <- predict(rfmodel, type="prob",newdata = train)[,'yes']  
 rf_pr_train <- prediction(rf_p_train, train$y)  
 r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]] `

rf_p_train <- as.vector(rfmodel$votes[,2]) rf_pr_train <- prediction(rf_p_train, train$y) r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]]

方法1给出的AUC约为1,但方法2给出的AUC约为0.65。我想知道为什么这两个结果如此不同。有人能帮我吗?非常感谢。对于这些数据,我很抱歉不能在这里分享。这是我第一次在这里提问。如果有什么不清楚的地方,请原谅我。谢谢!

2 回复 | 直到 7 年前

Bs He 7 年前

好啊第二种方法是正确的。为什么?因为在第一种情况下 training 将数据作为新数据集,并尝试再次拟合。在第二种方式中,你得到的实际上是所谓的 out of bag 估计,这应该是计算AUC的方法。

JackStat 7 年前

我不确定您使用的是什么数据。如果你能提供一个可复制的例子,那就最好了,但我想我能把它拼凑起来

library(randomForest)
#install.packages("ModelMetrics")
library(ModelMetrics)

# prep training to binary outcome
train <- iris[iris$Species %in% c('virginica', 'versicolor'),]
train$Species <- droplevels(train$Species)

# build model
rfmodel <- randomForest(Species~., data=train, importance=TRUE, ntree=2)

# generate predictions
preds <- predict(rfmodel, type="prob",newdata = train)[,2]

# Calculate AUC
auc(train$Species, preds)

# Calculate LogLoss
logLoss(train$Species, preds)

推荐文章

Amp · 使用R ggplot2删除geom_radial中axis.line和panel.border之间的空格

3 月前

Hard_Course · 用另一列中的值替换行的最后一个非NA条目

3 月前

Mark R · 使用geom_sf()删除地球仪上不需要的网格线

3 月前

Joe · 根据对工作日和本周早些时候的日期的了解,找到一个日期

3 月前

Ben · 统计向量中的单词在字符串中出现的频率

3 月前

TheCodeNovice · R中符号格式的尾随零和其他问题[重复]

3 月前

katefull06 · 在R中使用terra修改范围时,会为单独的SpatRaster重写范围

3 月前

dez93_2000 · 在R管道子功能中引用管道对象的当前状态

3 月前

accibio · 在ggplot2中为同一变量创建两个连续的颜色渐变比例

4 月前

Mankka · 如何在Ggplot2中绘制均匀的径向图

4 月前