中间DASK计算批处理结果

我有一个大的(10秒的GB)csv文件,我想载入其中 dask 对每一行执行一些计算。我还想将被操纵的csv的结果写入bigquery,但是最好是将网络请求批处理到bigquery,每组10000行,这样我就不会产生每行的网络开销。

我一直在看 dask delayed 您可以创建一个任意的计算图,但我不确定这是否是正确的方法:如何根据某个组大小(或者可能经过的时间)收集和触发中间计算。有人能提供一个简单的例子吗?简单来说,我们有以下功能:

def change_row(r):
    # Takes 10ms
    r = some_computation(r)
    return r

def send_to_bigquery(rows): 
    # Ideally, in large-ish groups, say 10,000 rows at a time
    make_network_request(rows)

# And here's how I'd use it
import dask.dataframe as dd
df = dd.read_csv('my_large_dataset.csv') # 20 GB
# run change_row(r) for each r in df
# run send_to_big_query(rows) for each appropriate size group based on change_row(r)

谢谢!