Google搜索结果抓取

Question

如何避免在抓取google结果页时被google屏蔽！

Answer 1

确实是会被屏幕，而且是随机的。一般来说访问一百次左右就得停90s，在访问的时候还得模拟浏览器，配置多个userAgent进行请求，同时因为是需要获取其google的广告信息，还得配置不同地区的ip进行切换……

Answer 2

那就真没办法了。

Answer 3

我一般是用一堆代理服务器干这个，都是公网ip，可以从一些proxy网站动态抓取，验证，然后直接用。一般大约能筛出一两百个有用的吧。 老流氓了。

Answer 4

Google 限制了一分钟内的访问次数，没辙的，我估计你没那么多公网IP来切换

Answer 5

配置多个物理公网ip，随机切换ip。