用requests写了个多线程,感觉有点慢,还有其他方法么?
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用Head请求能快一点吧?
Head
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(5)
使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)
好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)
python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。
使用grequests,对requests进行了并发封装
https://github.com/kennethrei...
这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!
用
Head
请求能快一点吧?