返回介绍

9.8 小结

发布于 2024-01-25 21:44:08 字数 681 浏览 0 评论 0 收藏 0

在本章中我们已经涉及了很多。首先我们看了两个令人窘迫的并行问题,其中一个具有可预料的复杂性,而另一个具有不可预料的复杂性。当我们在第10章讨论集群时,我们会再次短暂地在多台机器上使用这些例子。

接下来,我们看到在multiprocessing中对Queue的支持和它的开销。一般情况下,我们推荐使用一个外部的队列库,这样队列的状态更加透明。你应该倾向于使用一个容易阅读的工作格式而不是序列化(pickled)的数据,这样就容易调试。

进程间通信(IPC)的讨论应该让你对有效使用IPC的难度印象深刻,仅仅使用一个天真的并行方式(没有IPC)可能是有意义的。购买一台具有更多核的更快的计算机可能比设法使用IPC来开发一台现有的机器要现实得多。

不做拷贝的并行共享numpy矩阵仅仅对于一小撮问题是重要的,但是当它重要时,它就真的重要。确保你真的没有在进程间拷贝数据需要花费额外的几行代码和一些安全检查。

最后,我们看了使用文件和内存锁来避免损坏数据——这是细微和难以跟踪的错误的来源,本节向你展示了一些鲁棒和轻量级的解决方案。

在下一章中我们会看看使用Python的集群。使用集群,我们可以超越单机的并行性并利用一组机器的CPU。这引入了一个调试痛苦的新世界——不仅仅是你的代码可能有错,而且其他机器也可能有错误(或是错误配置,或是硬件失效)。我们会展示如何来使用并行的Python模块并行化pi的估算演示,并展示如何使用一个IPython集群来运行IPython内部的研究代码。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文