如何防止Googlebot淹没网站？

Question

我正在中间的专用服务器上运行一个内容很多但流量很少的网站。

有时，Googlebot 会踩踏我们，导致 Apache 耗尽内存，导致服务器崩溃。

我怎样才能避免这种情况？

Answer 1

• 在 google 网站管理员工具中注册，验证您的网站并限制 google bot 提交
• 站点地图
• 阅读 google 指南：（if-Modified-Since HTTP 标头）
• 使用 robot.txt 要限制机器人对网站某些部分的访问，
• 请编写一个脚本，每隔 $[时间段] 更改 robots.txt，以确保机器人永远无法同时抓取太多页面，同时确保它可以抓取总体所有内容

Answer 2

您可以使用谷歌的网站管理员工具设置您的网站的抓取方式。具体请查看此页面：更改 Google 的抓取速度

您还可以使用 robots.txt 文件限制 Google 机器人搜索的页面。有一个可用于crawl-delay的设置，但它似乎是Google 不认可。

Answer 3

使用 Google 网站管理员工具注册您的网站，该工具可让您设置 googlebot 应尝试对您的网站建立索引的频率和每秒请求数。 Google 网站管理员工具还可以帮助您创建 robots.txt 文件以减少网站的负载

Answer 4

请注意，您可以通过 Google 网站管理员工具（在“网站设置”下）设置抓取速度，但它们只保留该设置六个月！因此，您必须每六个月登录一次才能重新设置。

Google 中的此设置已更改。该设置现在仅保存 90 天（3 个月，而不是 6）。

Answer 5

您可以在谷歌的网站管理员工具中配置抓取速度。

Answer 6

要限制抓取速度，请执行以下操作：

• 在 Search Console 主页上，点击您想要的网站。

• 单击齿轮图标“设置”，然后单击“站点设置”。

• 在“抓取速率”部分中，选择所需的选项，然后根据需要限制抓取速率。

  在“抓取速率”部分中，选择所需的选项

新的抓取速度的有效期为 90 天。