- 前言
- 目标读者
- 非目标读者
- 本书的结构
- 以实践为基础
- 硬件
- 杂谈:个人的一点看法
- Python 术语表
- Python 版本表
- 排版约定
- 使用代码示例
- 第一部分 序幕
- 第 1 章 Python 数据模型
- 第二部分 数据结构
- 第 2 章 序列构成的数组
- 第 3 章 字典和集合
- 第 4 章 文本和字节序列
- 第三部分 把函数视作对象
- 第 5 章 一等函数
- 第 6 章 使用一等函数实现设计模式
- 第 7 章 函数装饰器和闭包
- 第四部分 面向对象惯用法
- 第 8 章 对象引用、可变性和垃圾回收
- 第 9 章 符合 Python 风格的对象
- 第 10 章 序列的修改、散列和切片
- 第 11 章 接口:从协议到抽象基类
- 第 12 章 继承的优缺点
- 第 13 章 正确重载运算符
- 第五部分 控制流程
- 第 14 章 可迭代的对象、迭代器和生成器
- 14.1 Sentence 类第1版:单词序列
- 14.2 可迭代的对象与迭代器的对比
- 14.3 Sentence 类第2版:典型的迭代器
- 14.4 Sentence 类第3版:生成器函数
- 14.5 Sentence 类第4版:惰性实现
- 14.6 Sentence 类第5版:生成器表达式
- 14.7 何时使用生成器表达式
- 14.8 另一个示例:等差数列生成器
- 14.9 标准库中的生成器函数
- 14.10 Python 3.3 中新出现的句法:yield from
- 14.11 可迭代的归约函数
- 14.12 深入分析 iter 函数
- 14.13 案例分析:在数据库转换工具中使用生成器
- 14.14 把生成器当成协程
- 14.15 本章小结
- 14.16 延伸阅读
- 第 15 章 上下文管理器和 else 块
- 第 16 章 协程
- 第 17 章 使用期物处理并发
- 第 18 章 使用 asyncio 包处理并发
- 第六部分 元编程
- 第 19 章 动态属性和特性
- 第 20 章 属性描述符
- 第 21 章 类元编程
- 结语
- 延伸阅读
- 附录 A 辅助脚本
- Python 术语表
- 作者简介
- 关于封面
第 18 章 使用 asyncio 包处理并发
并发是指一次处理多件事。
并行是指一次做多件事。
二者不同,但是有联系。
一个关于结构,一个关于执行。
并发用于制定方案,用来解决可能(但未必)并行的问题。1
——Rob Pike
Go 语言的创造者之一
1摘自“Concurrency Is Not Parallelism (It's Better)”演讲的第 5 张幻灯片。
Imre Simon 教授 2 说过,科学界有两个重要过错:使用不同的词表示相同的事物,以及使用同一个词表示不同的事物。如果你研究过并发编程或并行编程,会发现“并发”和“并行”有不同的定义。我将采用上述引文中 Rob Pike 的非正式定义。
2Imre Simon(1943—2009)是巴西的计算机科学先驱,对自动机理论(Automata Theory)有杰出的贡献,开创了热带数学(Tropical Mathematics)这一领域。他还是自由软件和自由文化的拥护者。我有幸曾与他一起学习、工作和相处。
真正的并行需要多个核心。现代的笔记本电脑有4个 CPU 核心,但是通常不经意间就有超过 100 个进程同时运行。因此,实际上大多数过程都是并发处理的,而不是并行处理。计算机始终运行着 100 多个进程,确保每个进程都有机会取得进展,不过 CPU 本身同时做的事情不能超过四件。十年前使用的设备也能并发处理 100 个进程,不过都在同一个核心里。鉴于此,Rob Pike 才把那次演讲取名为“Concurrency Is Not Parallelism (It's Better)”[“并发不是并行(并发更好)”]。
本章介绍 asyncio 包,这个包使用事件循环驱动的协程实现并发。这是 Python 中最大也是最具雄心壮志的库之一。Guido van Rossum 在 Python 仓库之外开发 asyncio 包,把这个项目的代号命名为“Tulip”(郁金香)。因此,在网上搜索这方面的资料时,会经常看到这种花的名称。例如,这个项目的主要讨论组仍叫 python-tulip。
Python 3.4 把 Tulip 添加到标准库中时,把它重命名为 asyncio。这个包也兼容 Python 3.3,在 PyPI 中可以通过新的官方名称找到(https://pypi.python.org/pypi/asyncio)。asyncio 大量使用 yield from 表达式,因此与 Python 旧版不兼容。
Trollius 项目(也以花名命名,http://trollius.readthedocs.org/)移植了 asyncio,把 yield from 替换成 yield 和精巧的回调(From 和 Return),以便支持 Python 2.6 及以上版本。yield from ... 表达式变成了 yield From(...);如果协程需要返回结果,那么要把 return result 替换成 raise Return(result)。Trollius 由 Victor Stinner 主导,他也是 asyncio 包的核心开发者。Victor 人很好,在本书付梓之前同意审核本章。
本章讨论以下话题:
对比一个简单的多线程程序和对应的 asyncio 版,说明多线程和异步任务之间的关系
asyncio.Future 类与 concurrent.futures.Future 类之间的区别
第 17 章中下载国旗那些示例的异步版
摒弃线程或进程,如何使用异步编程管理网络应用中的高并发
在异步编程中,与回调相比,协程显著提升性能的方式
如何把阻塞的操作交给线程池处理,从而避免阻塞事件循环
使用 asyncio 编写服务器,重新审视 Web 应用对高并发的处理方式
为什么 asyncio 已经准备好对 Python 生态系统产生重大影响
首先,本章通过简单的示例来对比 threading 模块和 asyncio 包。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论