pyspider抓取知乎出现500 Server Error错误，其它网站正常

Question

刚上手玩pyspider，起了localhost:5000后用知乎页面(https://www.zhihu.com/questio...做测试，报错：

但是用其它网址测试都是正常的，比如用谷歌首页(https://www.google.com):

Answer 1

你应该设置User-Agent

Answer 2

500 是知乎服务器的问题吧 跟爬虫没关系吧 如果限制了爬虫频次的话 应该是 403 吧
你手工通过浏览器看能不能访问知乎不就知道了。