代码之家 › 专栏 › 技术社区 › ps0604

当数据帧包含日期字段时,Dask map_分区失败

dask pandas python

ps0604 · 技术社区 · 4 年前

date2 没有 month 归因于类型是 Series

错误是 AttributeError: 'Series' object has no attribute 'month'

import pandas as pd
import dask
import dask.dataframe as dd
import datetime

pdf = pd.DataFrame({
    'id2': [1, 1, 1, 2, 2],
    'balance': [150, 140, 130, 280, 260],
    'date2' : [datetime.datetime(2021,3,1), datetime.datetime(2021,4,1), 
               datetime.datetime(2021,5,1), datetime.datetime(2021,1,1), 
               datetime.datetime(2021,2,1)]
})

ddf = dd.from_pandas(pdf, npartitions=1) 

def func2(df):
    return df.date2.month

x = ddf.map_partitions(func2)  # <-- fails here

1 回复 | 直到 4 年前

SultanOrazbayev 4 年前

访问 datetime .dt accessor ,因此,本例中的修复是:

def func2(df):
    return df.date2.dt.month

def func2(df):
    df['modified_column'] = df.date2.dt.month
    return df

推荐文章

Bo Qiang · 使用dask对非常大的数据进行排序?

8 年前

Minsky · 对于具有Dask阵列和/或h5py的环路

8 年前

rth · Dask中具有可重用自定义图的机会缓存

8 年前

morganics · 删除Dask中的空分区

8 年前

Pablo · 使用dask。纸袋从\u序列计算核密度估计

8 年前

Magnus Berg Sletfjerding · Dask的imread返回MemoryError-在导入时更改块大小

8 年前

thebeancounter · python dask数据帧将元组列拆分为两列

8 年前

thebeancounter · python dask数据帧-连接groupby。将输出应用于单个数据帧

8 年前

Julian C · dask按聚合正确使用

8 年前

vva · 如何使用Dask在yarn上运行并行python作业?

8 年前