代码之家 › 专栏 › 技术社区 › user_01

通过过滤单个列从数据帧中删除异常值

standard-deviation outliers dataframe python

user_01 · 技术社区 · 8 年前

我有一个这样的数据框:

A    B   C  
1   10   121
5    6   122  
7    8   123  
9   10   124  
12  23   125
10  24   1500 
13  36   1600

通过对c列应用mean++2std.deviation方法,我希望从c中删除异常值并过滤数据帧,在这里我最终希望得到

A    B    C  
1   10   121
5    6   122  
7    8   123  
9   10   124  
12  23   125

这是我的代码:

target=df['C']
mean = target.mean()
sd = target.std()
lower_boundary = [x for x in target if (x < mean - 2 * sd)]
upper_boundary=  [x for x in target if (x > mean - 2 * sd)]

selected_df=df[(target==lower_boundary) & (target==upper_boundary)]
selected_df

但它显示

TypeError: invalid type comparison

错误。你能告诉我哪里出错了吗?

2 回复 | 直到 8 年前

Graipher 8 年前

只需对目标列执行操作,即可获得布尔序列而不是单个布尔值:

target = df['C']
mean = target.mean()
sd = target.std()
selected_df = df[(target > mean - 2*sd) & (target < mean + 2*sd)]

注意,我修复了 - 到A + . 还要注意的是,由于平均值约为530,标准差约为700,这实际上并没有删除任何内容(平均值受到异常值强烈影响的一个很好的例子)。

Owen 8 年前

我认为问题是:

(target==lower_boundary) & (target==upper_boundary)

这将计算为布尔值,因为您正在执行 bitwise and 两个布尔值。

然后尝试使用布尔键索引数据帧,但失败。

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前