关于baidu蜘蛛无法抓取github page的问题
我的博客http://blog.whyun.com是github page上做的cname,但是我在百度的站长工具中做抓取测试,发现百度蜘蛛无法访问这个网站:
以下是百度Spider抓取结果及页面信息:
提交网址: http://blog.whyun.com/
抓取网址: http://blog.whyun.com/
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间: 2015-06-22 18:32:00
网站IP: 103.245.222.133 报错
下载时长: 0.372秒
抓取异常信息: 拒绝访问 查看帮助
返回HTTP头:
HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Mon, 22 Jun 2015 10:32:02 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1424-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1434969122.006655,VS0,VE67
Vary: Accept-Encoding
不知道有没有遇见相同问题的网友
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
解决 Github Pages 禁止百度爬虫的方法与可行性分析
302的话我倒是之前见过有文章分析过,403这是禁百度爬虫了吧。。
http://theo.im/blog/2014/05/14/resolve-302-redirection-on-github-pages...