Logistic回归对异常值敏感?在合成2D数据集上使用

您的模型过度拟合了数据(它发现的决策区域在训练集中的表现确实比您预期的对角线要好)。

当所有数据以概率1正确分类时,损失是最优的。到决策边界的距离进入概率计算。未规范化算法可以使用较大的权重使决策区域非常尖锐,因此在您的示例中,它会找到一个最优解决方案,其中(部分)异常值被正确分类。

通过更强大的正则化,可以防止这种情况,而距离起到了更大的作用。尝试不同的逆正则化强度值 C ,例如。

model = LogisticRegression(C=0.1) 
model.fit(tr_data,tr_labels)

注意:默认值 C=1.0 对应于逻辑回归的正则化版本。

让我们进一步确认 为什么? 逻辑回归在这方面有过之而无不及:毕竟,只有几个异常值,但还有数百个其他数据点。看看为什么注意到 logistic loss is kind of a smoothed version of hinge loss (used in SVM).

SVM根本不关心边缘正确一侧的样本——只要它们不越过边缘,它们就不会造成零成本。由于logistic回归是SVM的平滑版本,遥远的样本确实会带来成本,但与决策边界附近的样本造成的成本相比,成本可以忽略不计。

因此,与线性判别分析不同,靠近决策边界的样本对解决方案的影响比远离决策边界的样本大得多。