在Scrapy的Downloader Middleware中使用Selenium下载页面时,如何使用异步?
在下载中间件中,Request
请求似乎是以同步的方式传入process_request
方法的,而我在这里使用selenium
下载页面并返回Response
对象,就不会使用Scrapy的下载器。最后,全程只有一个浏览器实例在运行,每次只能处理一个请求,请问应该如何处理以提高爬取效率?非常感谢。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论