代码之家  ›  专栏  ›  技术社区  ›  Juan C

如何阻止数据帧子集“记住”旧值

  •  1
  • Juan C  · 技术社区  · 8 年前

    对不起,这句奇怪的话,但我不知道如何更好地描述它。我将把我的问题翻译成美语,以便于理解。我的问题是,我有一个州和地区的国家数据库,我只需要与佛罗里达州的地区合作,所以我这样做:

    df_fl=df.loc[df.state=='florida'].copy()
    

    在一些转换之后,我想从佛罗里达州得到每个地区的平均值,所以我这样做:

    df_final=df_fl.groupby(['district']).mean()
    

    但这带来了数据库中每个区域的数据框架。所有不在佛罗里达州的地区都挤满了保姆。我想有一个简单的解决办法,但我还没找到。这也有点违反直觉。

    你能帮我修一下吗?

    事先谢谢,

    编辑: 我的数据如下:

    District   state      Salary
       1        Florida    1000
       1        Florida    2000
       2        Florida    2000
       2        Florida    3000
       3        California 3000
    

    那么,df-fl看起来是这样的:

    District   state      Salary
       1        Florida    1000
       1        Florida    2000
       2        Florida    2000
       2        Florida    3000
    

    申请之后

    df_final=df_fl.groupby([‘District’).mean())
    

    我想得到这个:

    District   Salary
       1        1500
       2        2500
    

    但我明白了:

    District   Salary
       1        1500
       2        2500
       3         nan
    

    显然是一个非常简单的版本,但核心仍然存在。

    2 回复  |  直到 8 年前
        1
  •  3
  •   syntonym    8 年前

    正如Pirsquared已经解释过的,这只发生在分类数据上。从0.23.0开始 groupby 有一个新的“已观察”参数来切换此行为。Mcve摘自Pirsquared:

    >>> df = pd.DataFrame(dict(
        State=list('CCCCFFFF'),
        District=list('WXWXYYZZ'),
        Value=range(1, 9)
    ))
    >>> df.assign(
        District=pd.Categorical(df.District)
    ).query('State == "F"').groupby('District').Value.mean()
    District
    W    NaN
    X    NaN
    Y    5.5
    Z    7.5
    Name: Value, dtype: float64
    >>> df.assign(
        District=pd.Categorical(df.District)
    ).query('State == "F"').groupby('District', observed=True).Value.mean()
    District
    Y    5.5
    Z    7.5
    Name: Value, dtype: float64
    
        2
  •  5
  •   piRSquared    8 年前

    因为你的 'District' 列是分类类型。

    麦克维尔

    df = pd.DataFrame(dict(
        State=list('CCCCFFFF'),
        District=list('WXWXYYZZ'),
        Value=range(1, 9)
    ))
    

    无类别

    df.query('State == "F"').groupby('District').Value.mean()
    
    District
    Y    5.5
    Z    7.5
    Name: Value, dtype: float64
    

    有分类的

    df.assign(
        District=pd.Categorical(df.District)
    ).query('State == "F"').groupby('District').Value.mean()
    
    District
    W    NaN
    X    NaN
    Y    5.5
    Z    7.5
    Name: Value, dtype: float64
    

    解决方案

    有很多方法可以做到这一点。保留分类类型的一种方法是使用该方法, remove_unused_categories

    df = df.assign(District=df.District.cat.remove_unused_categories())