如果列为NaN并且另一行中该列不是NaN,如何在数据帧中删除行

我们可以 groupby 和 ffill 和 bfill 然后 drop_duplicates

df.assign(p2=df.groupby('p1')['p2'].apply(lambda x : x.ffill().bfill())).\
      drop_duplicates(subset=["p1","p2"], keep='last')
Out[645]: 
  p1   p2
0  a  1.0
1  a  2.0
2  a  3.0
3  b  NaN
4  c  4.0
6  d  5.0

这组重复项本质上应该是包含 NaN 包含重复项的值和行 p1 元素,和跨两列重复的元素联合:

dupe_1 = df['p1'].duplicated(keep=False) & df['p2'].isnull()
dupe_2 = df.duplicated(subset=['p1','p2'])
total_dupes = dupe_1 | dupe_2
new_df = df[~total_dupes]

请注意,对于以下数据帧,这将失败:

  p1  p2
0  a NaN
1  a NaN

因为这两个元素都将被删除。因此,我们必须先跑 df.drop_duplicates(subset=['p1','p2'], inplace=True, keep='last') ,删除除其中一行之外的所有行,使解决方案再次正常工作。