我应该阻止机器人*吗？

Question

本月 28 日，我们的一个站点的带宽受到严重干扰。 cpanel 只跟踪日常访问日志并且没有存档它们（现在是这样），使用 aw stats 我发现我们的机器人流量如下：

未知机器人（由“bot*”识别）91541+417 4.78 GB 28 Jul 2010 - 07 :12

我已使用 htaccess 阻止了 bot*：

RewriteCond %{HTTP_USER_AGENT} ^bot* [NC]
重写规则.* - [F,L]

我被告知这可能会干扰流量，我该怎么办？我应该等待它再次发生然后检查日志中的 IP/代理名称还是继续阻止未知的机器人？

我对我拥有的 googlebot 条目进行了 dns 查找，他们检查了。

Answer 1

您应该使用机器人排除令。它可能不是垃圾邮件机器人，如果您在 robots.txt 中放置了一个条目并且它仍然出现在您的网站上，那么您就会知道它是否是垃圾邮件机器人。

顺便说一句，googlebot 是谷歌的索引器。它将遵守 robots.txt（机器人排除令）。它还提供网站站长工具允许您配置谷歌与您的网站交互的方式。

您可以为犯错的机器人设置陷阱。在主页上创建一个不可见的链接（通过 CSS）。配置您的 robots.txt 以指示所有机器人忽略该链接并记录忽略该链接的机器人。

如果您安装了防火墙或其他基础设施，请将这些 IP 地址排除在以后使用您的站点的范围之外。