如何编写可以浏览网页并在网页上执行操作的自动化机器人

Question

我需要编写一个需要执行以下操作的机器人：

转到 jsp 页面并 通过以下方式搜索内容：

• 1：在搜索框中写一些内容
• 2：单击搜索按钮（提交按钮）
• 3：单击结果按钮/链接之一（具有不同输出的相同 jsp 页面）
• 4：获取该内容的整个 html新页面（具有不同输出的相同 jsp 页面）

第四个页面可以通过屏幕抓取来完成，我认为我不需要帮助。但我需要一些指导来执行从 1 到 3 的选项。任何可以帮助我通过谷歌了解它的链接或只是一些关键字将不胜感激。我打算用java来做这个。

Answer 1

您所需要的只是 HTMLUnit

这是其描述的摘录

HtmlUnit 是一个“无 GUI 浏览器，用于Java 程序”。它对 HTML 文档进行建模，并提供一个 API，允许您调用页面、填写表单、单击链接等...就像您在“普通”浏览器中所做的那样。

PS：曾用它来构建一个 Web抓取项目;)

Answer 2

也许这不是你想要的，但你可以尝试 selenium ： http://seleniumhq.org/

这是一个 Web 应用程序测试系统。

Answer 3

const puppeteer = require('puppeteer');

async function searchJSPPage(searchTerm) {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // go to the JSP page
  await page.goto('http://example.com/search.jsp');

  // input search term and submit form
  await page.type('input[name="searchBox"]', searchTerm);
  await page.click('input[type="submit"]');
  await page.waitForNavigation();

  // click on one of the resulting links
  await page.click('a[href="/results/1"]'); // example link
  await page.waitForNavigation();

  // get the entire HTML of the new page
  const html = await page.content();
  console.log(html);

  await browser.close();
}

searchJSPPage("example search term");

请注意，这只是一个示例，实际的 JSP 页面可能在输入和按钮上具有不同的属性，而且 JSP 页面可能具有机器人需要处理的一些安全机制，如验证码或 cookie。

Answer 4

您可以使用 python-mechanize 来实现此目的。

Answer 5

先决条件：

1. Selenium API。
2. Mozilla Firefox（安装了 firebug 扩展）

我们可以通过执行以下操作来实现启动浏览器，转到特定网页，搜索关键字并分析结果启动

1. 网页浏览器（driver.launch（）（selenium）
2. 转到特定网页（ driver.get("your web pager"))(selenium)
3. 识别搜索框（通过使用 fire bug(id,xml 路径.. 等获取标识符)
4. 转到该框并写入您的搜索关键字 (webelement.sendkeys("your关键字”）并单击搜索按钮（webelement.click（））（selenium）
5. 使用标识符单击所需的结果并加载下一个网页（selenium）

Answer 6

我在铬中使用了硒。如果你想使用 selenium，你必须从 http://www.seleniumhq.org/download/ --- 最新版本并在neatebeans 或eclipse 中实现jar 文件。 （Selenium 客户端和 WebDriver 语言绑定、Selenium 独立服务器）此后，您必须从 google 下载 https://sites.google.com/a/chromium.org/chromedriver/ -- Chrome 驱动程序也是最新版本，提取文件并保存在您的电脑上。