pyspider抓取知乎出现500 Server Error错误，其它网站正常
刚上手玩pyspider，起了localhost:5000后用知乎页面(https://www.zhihu.com/questio...做测试，报错：
但是用其它网址测试都是正常的，比如用谷歌首页(https://www.google.com):
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
你应该设置User-Agent
500 是知乎服务器的问题吧 跟爬虫没关系吧 如果限制了爬虫频次的话 应该是 403 吧
你手工通过浏览器看能不能访问知乎不就知道了。