如何确保我的网站可以阻止自动化脚本、机器人？

Question

我想确保我的网站阻止 Selenium 和 QTP 等自动化工具。有办法做到这一点吗？ 网站上的哪些设置会导致 Selenium 失败？

Answer 1

适当考虑对原始问题“你到底为什么要这样做？”的评论，你基本上需要遵循任何网站用来验证用户是否确实是人类的相同策略。要求用户进行身份验证或输入图像中的文本等方法可能会起作用，但这可能会产生阻止谷歌爬虫和其他所有内容的效果。

基于用户代理字符串或类似的事情做任何事情基本上都是无用的。这些都是微不足道的假货。

速率限制连接或类似的效果可能有限，但似乎您也会无意中阻止任何网络爬虫。

Answer 2

虽然这个问题看起来很奇怪，但很有趣，所以我尝试调查可能性

除了添加验证码（这是最好的也是唯一的最终解决方案）之外，您还可以通过将以下 JavaScript 添加到您的页面来阻止 Selenium（此示例将重定向到Google 页面，但你可以做任何你想做的事情）：

<script>
var loc = window.parent.location.toString();
if (loc.indexOf("RemoteRunner.html")!=-1) {
  // It is run in Selenium RC, so do something
  document.location="http://www.google.com";
}
</script>

我不知道如何阻止其他自动化工具，我不确定这是否不会阻止 Selenium IDE

Answer 3

要 100% 确定没有自动机器人/脚本可以针对您的网站运行，请不要有在线网站。这肯定会满足您的要求。

由于众包和 OCR 方法，验证码即使不便宜也很容易被破解。

代理可以在野外免费找到，也可以以极低的成本获得批量代理。同样，对于限制连接速率或检测机器人毫无用处。

一种可能的方法是在您的应用程序逻辑中，通过电话验证、信用卡验证等方式来实现增加访问网站的时间和成本的方法。您的网站永远不会启动，因为在您的网站处于起步阶段时没有人会信任您的网站。

解决方案：不要将您的网站上线并期望能够有效消除机器人和脚本的运行。