robots.txt 的 Spider 间隔

Question

我一直在阅读有关网络爬行的内容，并得到了一份包含所有注意事项的列表，但是有一个问题我还没有找到任何讨论。

对于任何给定网站，robots.txt 应该多久提取一次？

我的情况是，对于任何特定网站，爬网速度非常慢，每天可能 100 个页面。 假设一个网站添加了一个新部分（/ humans-only/），其他页面链接到该部分。同时在robots.txt中添加相应的行。蜘蛛可能会在更新 robots.txt 之前找到此部分的链接。

有趣的是写下问题如何给出解决方案。 当我提出上面的问题时，我想到了一个解决方案。

robots.txt 很少更新，比如每天更新一次。 但所有新找到的链接都应保留在队列中，直到下次更新 robots.txt。 robots.txt 更新后，现在可以抓取所有通过的待处理链接。

对此还有其他想法或实践经验吗？

Answer 1

所有大型网络爬虫都会将 robots.txt 缓存一段时间。一天是很常见的，过去我见过一次长达一周的时间。我们的爬虫的最大缓存时间为24小时。实际上，除了我们经常爬行的网站之外，它通常会小于该值。

如果您保留链接以等待 robots.txt 的未来版本，那么您就会人为地为抓取添加 24 小时延迟。也就是说，如果您今天抓取我的网站，那么您必须将所有这些链接保留最多 24 小时，然后才能再次下载我的 robots.txt 文件，并验证您抓取的链接当时是否被允许。你可能经常犯错，也可能经常犯错。假设发生以下情况：

2011-03-08 06:00:00 - You download my robots.txt
2011-03-08 08:00:00 - You crawl the /humans-only/ directory on my site
2011-03-08 22:00:00 - I change my robots.txt to restrict crawlers from accessing /humans-only/
2011-03-09 06:30:00 - You download my robots.txt and throw out the /humans-only/ links.

在您爬网时，您被允许访问该目录，因此发布链接没有问题。

下载 robots.txt 时，您可以使用 Web 服务器返回的最后修改日期来确定当时是否允许您读取这些文件，但许多服务器在返回最后修改日期时会撒谎。一些很大的百分比（我不记得它是什么）总是返回当前日期/时间作为最后修改日期，因为它们的所有内容（包括 robots.txt）都是在访问时生成的。

此外，向您的机器人添加该限制意味着即使您不打算抓取他们的网站，您也必须再次访问他们的 robots.txt 文件。否则，链接将在您的缓存中消失。您提出的技术提出了许多您无法妥善处理的问题。最好的选择是利用手头的信息进行操作。

大多数网站运营商都了解 robots.txt 缓存，并且如果您的机器人在 robots.txt 更改后 24 小时内访问其网站上的受限目录，他们就会采取其他方式。当然，前提是您没有阅读 robots.txt，然后继续抓取受限制的页面。对于那些质疑这种行为的少数人来说，对所发生的事情进行简单的解释通常就足够了。

只要您公开了解您的爬虫正在做什么，并且为网站运营商提供联系您的方式，大多数误解都很容易纠正。有一些人——极少数人——会指控你从事各种邪恶活动。您最好的选择是为造成的问题道歉，然后阻止您的机器人访问他们的网站。