webmagic与curl命令的区别
使用webmagic抓取某个网站时，若没有设置User-Agent, 会返回空（仍是200）。但我在终端直接执行curl http://some.site.com 却可以正常返回内容。 但是curl中也没有显式指定user agent，为什么curl就可以呢？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
curl -v http://some.site.com
> User-Agent: curl/7.35.0
原来curl隐式指定了user agent