编写一个与浏览器交互的简单网络爬虫（Java）

Question

我需要创建一个自动化流程（最好使用 Java），该流程将：

1. 使用特定 url 打开浏览器。
2. 使用指定的用户名和密码登录。
3. 点击页面上的链接之一。
4. 刷新浏览器。
5. 退出。

这样做基本上是为了收集一些统计数据以进行分析。每次用户点击链接时，都会为该特定用户生成一堆数据并保存在数据库中。我需要做的是，使用大约 10 个假用户，每 5-15 分钟 ping 一次页面。

你能考虑一下简单的方法吗？必须有一种替代无休止的登录-刷新-注销手动过程的方法......

Answer 1

尝试Selenium。

Answer 2

它不是Java，而是Javascript。你可以做这样的事情：

window.location = "<url>"
document.getElementById("username").value = "<email>";    
document.getElementById("password").value = "<password>";

document.getElementById("login_box_button").click();

...

等等

通过这种结构，你可以轻松地涵盖 1-3。添加一些 for 循环来刷新页面，就完成了。

Answer 3

如果您想要

1. 快速
2. 简单的

基于 java 的 Web 交互/爬行，

请使用 HtmlUnit。 例如：下面是一些简单的代码，显示了一堆输出以及访问已加载页面的所有 IMG 元素的示例。

public class HtmlUnitTest {
  public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
    final WebClient webClient = new WebClient();
    final HtmlPage page = webClient.getPage("http://www.google.com");
    System.out.println(page.getTitleText());

    for (HtmlElement node : page.getHtmlElementDescendants()) {
      if (node.getTagName().toUpperCase().equals("IMG")) {
        System.out.println("NAME: " + node.getTagName());
        System.out.println("WIDTH:" + node.getAttribute("width"));
        System.out.println("HEIGHT:" + node.getAttribute("height"));
        System.out.println("TEXT: " + node.asText());
        System.out.println("XMl: " + node.asXml());
      }
    }
  }
}

示例 #2 访问命名输入字段并输入数据/单击：

final HtmlPage page = webClient.getPage("http://www.google.com");

HtmlElement inputField = page.getElementByName("q");
inputField.type("Example input");

HtmlElement btnG = page.getElementByName("btnG");
Page secondPage = btnG.click();

if (secondPage instanceof HtmlPage) {
  System.out.println(page.getTitleText());
  System.out.println(((HtmlPage)secondPage).getTitleText());
}

注意： 您可以在任何 Page 对象上使用 page.refresh()。

Answer 4

您可以使用 Jakarta JMeter