- 内容提要
- 前言
- 作者简介
- 封面简介
- 第1章 理解高性能 Python
- 第2章 通过性能分析找到瓶颈
- 2.1 高效地分析性能
- 2.2 Julia 集合的介绍
- 2.3 计算完整的 Julia 集合
- 2.4 计时的简单方法——打印和修饰
- 2.5 用 UNIX 的 time 命令进行简单的计时
- 2.6 使用 cProfile 模块
- 2.7 用 runsnakerun 对 cProfile 的输出进行可视化
- 2.8 用 line_profiler 进行逐行分析
- 2.9 用 memory_profiler 诊断内存的用量
- 2.10 用 heapy 调查堆上的对象
- 2.11 用 dowser 实时画出变量的实例
- 2.12 用 dis 模块检查 CPython 字节码
- 2.13 在优化期间进行单元测试保持代码的正确性
- 2.14 确保性能分析成功的策略
- 2.15 小结
- 第3章 列表和元组
- 第4章 字典和集合
- 第5章 迭代器和生成器
- 第6章 矩阵和矢量计算
- 第7章 编译成 C
- 第8章 并发
- 第9章 multiprocessing 模块
- 第10章 集群和工作队列
- 第11章 使用更少的 RAM
- 第12章 现场教训
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
9.8 小结
在本章中我们已经涉及了很多。首先我们看了两个令人窘迫的并行问题,其中一个具有可预料的复杂性,而另一个具有不可预料的复杂性。当我们在第10章讨论集群时,我们会再次短暂地在多台机器上使用这些例子。
接下来,我们看到在multiprocessing中对Queue的支持和它的开销。一般情况下,我们推荐使用一个外部的队列库,这样队列的状态更加透明。你应该倾向于使用一个容易阅读的工作格式而不是序列化(pickled)的数据,这样就容易调试。
进程间通信(IPC)的讨论应该让你对有效使用IPC的难度印象深刻,仅仅使用一个天真的并行方式(没有IPC)可能是有意义的。购买一台具有更多核的更快的计算机可能比设法使用IPC来开发一台现有的机器要现实得多。
不做拷贝的并行共享numpy矩阵仅仅对于一小撮问题是重要的,但是当它重要时,它就真的重要。确保你真的没有在进程间拷贝数据需要花费额外的几行代码和一些安全检查。
最后,我们看了使用文件和内存锁来避免损坏数据——这是细微和难以跟踪的错误的来源,本节向你展示了一些鲁棒和轻量级的解决方案。
在下一章中我们会看看使用Python的集群。使用集群,我们可以超越单机的并行性并利用一组机器的CPU。这引入了一个调试痛苦的新世界——不仅仅是你的代码可能有错,而且其他机器也可能有错误(或是错误配置,或是硬件失效)。我们会展示如何来使用并行的Python模块并行化pi的估算演示,并展示如何使用一个IPython集群来运行IPython内部的研究代码。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论