关于connect_timeout无效的问题
我设置了connect_timeout,但是在运行时没有起作用。请问如何解决?
代码如下:
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://??.cn/',fetch_type="js",timeout=300,connect_timeout=100, callback=self.detail_page)
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
遇到同样问题,win10,另外,抓取ip没问题,只要是网址,就不行。
刚才改了一下tornado_fetcher.py里面的'connect_timeout': 20, 改成大一些,结果有效率了。。。
connect_timeout 对 phantomjs 无效