代码之家 › 专栏 › 技术社区 › Koklushkin

如何按X一次运行中的任务列表?等待每组完成

python-asyncio parallel-processing asynchronous python

Koklushkin · 技术社区 · 3 年前

我有一组1000项任务。

import asyncio

async def my_task(x):
    await asyncio.sleep(0.1)
    print(f"done: {x}")


async def main():
    my_tasks = []
    for x in range(1000):
        my_tasks.append(lambda: my_task)         

    # ???
    # how to scoop up the consequent 10 out of `my_tasks`
    # to execute them asyncronously?
    # and then wait for them?
    # 

    # ??
    # asyncio.create_task(my_task())
    # pending = asyncio.all_tasks()
    # group = asyncio.gather(*pending, return_exceptions=True)
    # await group

我想管理他们 10乘10。 也就是说,一次10个。然后等待他们(10个)完成,然后再跑10个,以此类推。

怎么做?

1 回复 | 直到 3 年前

partyguy11 3 年前

您可以通过使用asyncio.gather以10个为一组的方式同时运行任务来实现这一点。以下是如何修改主函数以实现此目的的示例:

import asyncio

async def my_task(x):
    await asyncio.sleep(0.1)
    print(f"done: {x}")

async def main():
    my_tasks = [my_task(x) for x in range(1000)]

    # Run tasks in groups of 10
    for i in range(0, len(my_tasks), 10):
        group = my_tasks[i:i+10]
        await asyncio.gather(*group)

asyncio.run(main())

这段代码创建了一个1000个任务的列表,然后以10步为一步进行迭代。对于每组10个任务,它使用asyncio.gather并行运行它们,并等待它们完成后再进入下一组。

注意:在一些python代码编辑器(如googlecolab笔记本)中,您应该使用 await main() 而不是 asyncio.run(main())

推荐文章

Sylvain Biehler · PyInstaller导入错误:无法导入名称“SelectorEventLoop”

8 年前

user9342520 · 在从主线程运行的异步IO事件循环中运行无限循环

8 年前

Rotareti · Python asyncio-如何延迟地链()从as\u completed()返回的结果?

8 年前

Michael Fulton · 异步IO。start\u服务器未在pytest asyncio测试内运行

8 年前

Kristy · 无法通过conda安装Asyncio

8 年前

siebz0r ecatmur · wait\uuuu是否需要是生成器?

8 年前

adapap · 不一致py后台任务中断,但任务仍处于挂起状态(使用websocket)

8 年前

Xaztek · 在字典中循环时,Discord Py bot垃圾邮件通道

8 年前

James Ko · 如何在Python中不浪费时间等待许多绑定到网络的任务?

8 年前

antfuentes87 · 如何在另一个异步IO循环中使用异步IO循环

8 年前