代码之家 › 专栏 › 技术社区 › Rajesh Ahir

如何在pandas数据帧的列中找到连续的null(NaN)?

count numpy dataframe pandas python

Rajesh Ahir · 技术社区 · 2 年前

我有一个熊猫数据帧,如下所示:

import pandas as pd
nan = float('nan')
data = {'col1': [1, nan, nan, nan, nan, 1, nan, nan], 
        'col2': [1, 1, nan, 1, 0, 0, 1, 0], 
        'col3': [nan, 0, nan, 1, 0, nan, nan, nan], 
        'col4': [1, 0, 0, 1, 0, 1, 1, 1]}
df = pd.DataFrame(data)

|col1|  |col2|  |col3|  |col4|
| 1  |  |  1 |  | NaN|  | 1  |
|NaN |  |  1 |  | 0  |  | 0  |
|NaN |  | NaN|  | NaN|  | 0  |
|NaN |  |  1 |  | 1  |  | 1  |
|NaN |  |  0 |  | 0  |  | 0  |
| 1  |  |  0 |  | NaN|  | 1  |
|NaN |  |  1 |  | NaN|  | 1  |
|NaN |  |  0 |  | NaN|  | 1  |

我想计算每列的连续null(NaN)值的数量,如果有两个以上的连续null,我想得到它的最大值。

对于上面的df,我会得到:

df_nulls = ['col1': 4, 'col2': 0, 'col3': 3, 'col4': 0]

根据以上结果,应删除具有两个以上连续Null的列。在这种情况下,最终的数据帧应该只包含col2和col4。我发现了类似的线程,但没有一个解决上述问题。我该如何解决这个问题?提前谢谢。

2 回复 | 直到 2 年前

Panda Kim 2 年前

密码

transform + max

out = (df
       .transform(lambda x: x.isna().groupby(x.notna().cumsum()).cumsum())
       .max()
       .mask(lambda x: x.eq(1), 0)
       .to_dict()
)

出来

{'col1': 4, 'col2': 0, 'col3': 3, 'col4': 0}

或使用 agg 相反 使改变 + 最大值

out = (df
       .agg(lambda x: x.isna().groupby(x.notna().cumsum()).cumsum().max())
       .mask(lambda x: x.eq(1), 0)
       .to_dict()
)

相同的结果

Chris Fu 2 年前

>>> (
...     df.notna().cumsum().apply(
...         lambda s: (
...             s.value_counts(sort=False).pipe(
...                 lambda s: s - (s.index != 0)
...             ).max()
...         )
...     )
... ).replace(1, 0).to_dict()
{'col1': 4, 'col2': 0, 'col3': 3, 'col4': 0}

编辑

适用于以下情况 df 包含前导NaN。

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前