关于百度搜索引擎频发收录被黑网页的问题
我的个人网站部署在小运营商的虚拟主机上,虽然说便宜,但是服务器老是被攻破,所以就出现了无数的博彩垃圾页面,更不幸的是百度还把这些页面给收录了。
不过百度站长工具提供了死链提交的功能,刚开始发现这个功能的时候还信息如狂,但是用过一段时间后发现。这玩意要么是有bug,要么是效率太低,提交几十个死链地址,结果检测出来送删的链接的才两三个。官方对于送删数量的解释为
送删数量为XML文件中新增链接数量,老链接不重复送删
第一个问题,不知道谁用过百度的死链功能,他们这个东西靠谱不?
既然有这么多老链接,可是我也没有看到我之前提交过的链接有被删除过的痕迹。情急之下我修改了网站的robots.txt,在最后一行添加了这么几句话:
User-Agent: Baiduspider
Disallow: /
过了几天发现,百度收录垃圾网页的链接反而增多了。我发现百度对搜索出来的链接后面都有一个时间,如下图:
第二个问题,图中的2014-7-19
是百度的收录时间吗,如果是这样,为何在同一个时间收录的链接,出现在搜索页面的时间却不同。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
我发现正是由于我写了robots.txt,吧百度蜘蛛给屏蔽了,但是我的死链文件正是放到同一个网站上的,所以百度蜘蛛拿不到死链内容,所以链接一直得不到删除。
现在我在另一个网站上放置死链文件,保证百度蜘蛛能够读取到,现在看一下死链都删除了。
badiu 是人民羣衆利益的代表,是良心企業,人民至上,什麼道德標準什麼業界規範一概無視。
baidu 不按常理出牌真的沒有辦法啦