关于baidu蜘蛛无法抓取github page的问题

发布于 2022-09-01 12:36:05 字数 774 浏览 16 评论 0

我的博客http://blog.whyun.com是github page上做的cname,但是我在百度的站长工具中做抓取测试,发现百度蜘蛛无法访问这个网站:

以下是百度Spider抓取结果及页面信息:
提交网址:   http://blog.whyun.com/
抓取网址:   http://blog.whyun.com/
抓取UA:   Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间:   2015-06-22 18:32:00
网站IP:   103.245.222.133 报错
下载时长:   0.372秒
抓取异常信息: 拒绝访问  查看帮助 
返回HTTP头:
HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Mon, 22 Jun 2015 10:32:02 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1424-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1434969122.006655,VS0,VE67
Vary: Accept-Encoding

不知道有没有遇见相同问题的网友

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

往昔成烟 2022-09-08 12:36:05

302的话我倒是之前见过有文章分析过,403这是禁百度爬虫了吧。。
http://theo.im/blog/2014/05/14/resolve-302-redirection-on-github-pages...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文