真的百度蜘蛛会每天100多台机器在你网站上抓数据吗？

Question

现在网站每天都有170台左右百度蜘蛛在抓数据，频率还不低，把网站都拖死了，我想请问真的百度蜘蛛会这么干吗？有么有可能这些ip模拟的呢？但是host后确实是百度蜘蛛

Answer 1

蜘蛛一般都遵守robots协议，你可以通过在网站目录下放置robots.txt文件过滤相应的User-Agent，例如：hao123的robots hao123 robots

更多robots内容，参考：http://www.robotstxt.org/

Answer 2

简单粗暴的方式、直接屏蔽好了

nginx中的配置

if ($http_user_agent ~* "Baiduspider") {
    return 403;
}

Answer 3

最合适的办法：

1.声明robots;
2.到百度站长平台，自主调整爬虫压力

Answer 4

怎么没人回答呢？啊啊啊