python爬虫使用多进程还是多线程?
查了一些资料,看到网络请求属于IO操作,因此使用多线程,那么为什么还有多进程爬虫呢? 虽然多进程爬虫可能多核,但是进程适用于cpu密集型运算啊。。。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
查了一些资料,看到网络请求属于IO操作,因此使用多线程,那么为什么还有多进程爬虫呢? 虽然多进程爬虫可能多核,但是进程适用于cpu密集型运算啊。。。
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(1)
python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)