Python 异步请求 +写入文件混乱

Question

我有一个简单的 python 异步程序，可以从特定 URL 检索 gzip 压缩文件。我已使用 aiohttp 进行异步请求。根据 aiohttp 文档 (https://docs.aiohttp.org/en/stable/ client_quickstart.html），我在我的测试方法中的“流响应内容”下使用了他们的示例来写入数据。

async def main(url):
    async with aiohttp.ClientSession() as session:
        await asyncio.gather(test(session, url))


async def test(session, url):
    async with session.get(url=url) as r:
        with open('test.csv.gz', 'wb') as f:
            async for chunk in r.content.iter_chunked(1024):
                f.write(chunk)

但是，我不确定 test() 中的内容是否实际上是异步的。我读过的很多文章都提到了异步协程中需要使用“await”关键字来激活异步性（例如 r = wait session.get(url=url)），但我想知道它是否是“async with”和“async for”模式也能达到同样的效果？

我希望实现的是在执行 session.get() 以及将数据写入本地时的异步功能，这样，如果我传入许多 url，它将 a) 在获取 url 时执行异步切换，b) 执行将数据写入本地时的异步切换。

对于 b)，我需要使用类似下面的东西吗？

async with aiofiles.open('test.csv.gz', 'wb') as f:
    async for chunk in r.content.iter_chunked(1024):
        await f.write()

这让我想到了一个稍微偏离主题的问题，但是 async with session.get(url=url) as r: 和 r = wait session.get(url=网址）？

如果我的理解有缺陷或者我缺少有关异步功能的基本内容，请告诉我！

Answer 1

好问题。看下面的小程序，它运行两个任务。每个都有一个异步上下文管理器和一个异步迭代器：

import asyncio
from contextlib import asynccontextmanager

@asynccontextmanager
async def nada():
    # await asyncio.sleep(0.0)
    yield
    
async def aloop():
    for _ in range(5):
        # await asyncio.sleep(0.0)
        yield
    
async def atask(name):
    async for _ in aloop():
        async with nada():
            print("Task", name)

async def main():
    asyncio.create_task(atask("1"))
    await asyncio.create_task(atask("2"))

if __name__ == "__main__":
    asyncio.run(main())

输出：

Task 1
Task 1
Task 1
Task 1
Task 1
Task 2
Task 2
Task 2
Task 2
Task 2

没有发生任务切换。

现在取消上下文管理器 (nada) 或迭代器 (aloop) 中 await asyncio.sleep(0.0) 的注释。输出变为：

Task 1
Task 2
Task 1
Task 2
Task 1
Task 2
Task 1
Task 2
Task 1
Task 2

现在确实发生了任务切换。但你的主程序在这两种情况下是完全相同的。

因此，第一个问题的答案是“async with”和“async for”模式不一定会导致任务切换。这取决于他们的实施。异步上下文管理器和异步迭代器都调用特殊的机制；如果该机器执行await表达式，就会发生任务切换。但 Python 不需要异步上下文管理器或异步迭代器来做到这一点。

这是完全合法的 Python：

async def do_nothing:
    pass

实际上，您可能可以信任像 aiohttp 这样广泛部署的库。将 async 关键字放在方法前面并且不在其中执行等待并没有多大价值。我能想到的唯一用例是当 API 需要协程但不需要异步行为时。将此类函数放入通用库中将是糟糕的设计，至少没有良好的文档。

你的第二个问题 - async with session.get(url=url) as r: 和 r = wait session.get(url=url) 之间有什么区别 - 是第一种形式执行两个特殊功能，而第二种则不执行。第一个在某种程度上相当于：

try:
    x = session.get(url=url)
    r = await x.__aenter__()    
    # the indented block of code executes here
finally:
    await x.__aexit__(...)

__aexit__ 方法接受一些与异常处理有关的参数，您可以在文档中阅读相关内容。同步上下文管理器类似，只是特殊方法名为 __enter__ 和 __exit__。