如何让浏览器自动访问 1000 个页面并在每个页面上触发一个简单的 javascript 函数？

Question

我需要在跟踪/报告应用程序上加载 1000 个 url（通过 HTML 表单进行身份验证后）并触发“重新提交”javascript 函数。不幸的是，没有批量操作可以同时处理所有操作，所以我只能使用自动化。我有什么选择？

http://domain.com/0001.php
http://domain.com/0002.php
http://domain.com/0003.php
...
http://domain.com/1000.php

上述每个页面都有一个由 href 触发的 resubmit() javascript 函数。我怎样才能自动触发这些？

示例：

<form action="/resubmit" method="POST">
  <input type="hidden" name="security_token" value="SUPER-LONG-HASH">
  <input type="hidden" name="url" value="http://mysite.com/0001.html">
  <input type="hidden" name="redirect" value="long-string">
  <script type="text/javascript">
    window["resubmit"] = function () {
      document["resubmit"].submit();
      return false;
    }
  </script>
  <a href="javascript:resubmit()" class="resubmit-class">resubmit</a>
</form>

我使用的是 Mac。 Unix、Perl、Bash、PHP、Automator、FireFox iMarcos 均可用。

Answer 1

您应该查看 PhantomJS，“带有 JavaScript API 的无头 WebKit”。它允许您从命令行运行 WebKit 浏览器实例并执行 Javascript。

您也许可以使用 Pjscrape 节省一些时间，这是一个构建在 PhantomJS 之上的工具，可以抓取多个页面或获取一长串 URL（免责声明：这是我的项目）。我还没有尝试过 1,000 多个 URL，但我认为您可以使用以下 6 行来执行您所描述的操作：

pjs.addSuite({
    urls: [...], // your very long list here
    scraper: function() {
        window.resubmit();
    }
});

Answer 2

我已经对其他答案进行了投票，但最终我直接使用了 AppleScript。这很有帮助，因为它使用现有会话，因此我不必处理任何身份验证问题。感谢大家的帮助。我期待着熟悉您分享的工具。

set thePath to (path to desktop as Unicode text) & "list_of_urls.txt"
set theFile to (open for access file thePath)
set theContent to (read theFile)
close access theFile

set theURLs to every paragraph of theContent

tell application "Safari"
    repeat with theURL in theURLs
        make new document
        set URL of front document to theURL
        delay 5
        set theScript to "document.getElementsByClassName('resubmit-class')[0].click();"
        do JavaScript theScript in current tab of first window
        do JavaScript "window.resubmit()" in front document
        delay 5
        close front document
    end repeat
end tell

Answer 3

我会使用 Ruby+Watir 来实现这一点。示例代码（未测试）：

require "watir-webdriver"
browser = Watir::Browser.new :firefox

urls = ["http://domain.com/0001.php", "http://domain.com/0002.php"] # add more URLs here
urls.each do |url|
  browser.goto url
  browser.a(:text => "resubmit").click
end

Answer 4

我不知道这是否对您有帮助，但您可以尝试Fake。我认为它可以让您自动提交表单并进行循环。