如何使用HtmlUnit加载ajax？

Question

import java.io.IOException;
import java.net.MalformedURLException;
import java.util.List;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlButton;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class YoutubeBot {
private static final String YOUTUBE = "http://www.youtube.com";

public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
    WebClient webClient = new WebClient();
    webClient.setThrowExceptionOnScriptError(false);

    // This is equivalent to typing youtube.com to the adress bar of browser
    HtmlPage currentPage = webClient.getPage("http://www.youtube.com/results?search_type=videos&search_query=official+music+video&search_sort=video_date_uploaded&suggested_categories=10%2C24&uni=3");

    // Get form where submit button is located
    HtmlForm searchForm = (HtmlForm) currentPage.getElementById("masthead-search");

    // Get the input field.
    HtmlTextInput searchInput = (HtmlTextInput) currentPage.getElementById("masthead-search-term");
    // Insert the search term.
    searchInput.setText("java");

    // Workaround: create a 'fake' button and add it to the form.
    HtmlButton submitButton = (HtmlButton) currentPage.createElement("button");
    submitButton.setAttribute("type", "submit");
    searchForm.appendChild(submitButton);

    //Workaround: use the reference to the button to submit the form. 
    HtmlPage newPage = submitButton.click();

    //Find all links on page with given class
    final List<HtmlAnchor> listLinks = (List<HtmlAnchor>) currentPage.getByXPath("//a[@class='ux-thumb-wrap result-item-thumb']");      

    //Print all links to console
    for (int i=0; i<listLinks.size(); i++)
        System.out.println(YOUTUBE + listLinks.get(i).getAttribute("href"));

    }
}

这段代码有效，但我只想对 YouTube 剪辑进行排序，例如按上传日期。如何使用 HtmlUnit 做到这一点？我必须单击过滤器，这应该通过 ajax 请求加载内容，然后我应该单击“上传日期”链接。我只是不知道第一步，加载ajax内容。这可以用 HtmlUnit 实现吗？

Answer 1

这对我有用。设置此项

webClient.setAjaxController(new NicelyResynchronizingAjaxController());

这将导致所有 ajax 调用同步。

这就是我设置 WebClient 对象的方式

WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCookieManager().setCookiesEnabled(true);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getCookieManager().setCookiesEnabled(true);

Answer 2

一种方法是：

1. 像在上一个问题。
2. 按 ID 选择 search-lego-refinements 块。
3. 使用 XPath 导航到 URL（当您从上一个 id 开始时，为 //ul/li/a）。
4. 单击选定的链接。

以下代码示例显示了如何完成此操作：

import java.io.IOException;
import java.net.MalformedURLException;
import java.util.List;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlButton;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class YoutubeBot {
   private static final String YOUTUBE = "http://www.youtube.com";

   @SuppressWarnings("unchecked")
   public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
      WebClient webClient = new WebClient();
      webClient.setThrowExceptionOnScriptError(false);

      // This is equivalent to typing youtube.com to the adress bar of browser
      HtmlPage currentPage = webClient.getPage(YOUTUBE);

      // Get form where submit button is located
      HtmlForm searchForm = (HtmlForm) currentPage.getElementById("masthead-search");

      // Get the input field
      HtmlTextInput searchInput = (HtmlTextInput) currentPage.getElementById("masthead-search-term");

      // Insert the search term
      searchInput.setText("java");

      // Workaround: create a 'fake' button and add it to the form
      HtmlButton submitButton = (HtmlButton) currentPage.createElement("button");
      submitButton.setAttribute("type", "submit");
      searchForm.appendChild(submitButton);

      // Workaround: use the reference to the button to submit the form.
      currentPage = submitButton.click();

      // Get the div containing the filters
      HtmlElement filterDiv = currentPage.getElementById("search-lego-refinements");

      // Select the first link from the filter block (Upload date)
      HtmlAnchor sortByDateLink = ((List<HtmlAnchor>) filterDiv.getByXPath("//ul/li/a")).get(0);

      // Click the 'Upload date' link
      currentPage = sortByDateLink.click();

      System.out.println(currentPage.asText());
   }
}

您也可以浏览正确的查询 URL (http://www.youtube.com/results?search_type=videos&search_query=nyan+cat&search_sort=video_date_uploaded ）。

但是，您必须对搜索参数进行编码（例如，用 + 替换空格）。

Answer 3

我之前曾出于类似目的使用过 HTMLUnit。

实际上，您可以在此处找到所需的所有信息。 HTMLUnit 默认启用 AJAX 支持，因此当您在代码中获取 newPage 对象时，您可以在页面上发出点击事件（查找特定元素并调用它的 click()功能）。最棘手的部分是 AJAX 是异步的，因此您必须在执行虚拟点击后调用 wait() 或 sleep()，以便网站上的 Javascript 代码可以处理操作。这不是最好的方法，因为网络使用使 sleep() 不可靠。您可能会发现，当您执行 AJAX 调用的事件时，页面上的某些内容会发生变化（例如，标题标题发生变化），因此您可以定期检查站点是否已发生此更改。 （我应该提到 HTMLUnit 内置了一个 事件重新同步器，但是我不能设法让它按照我的预期工作。）我使用 Firebug 或 Chrome 的开发人员工具栏来检查网站。您可以在 AJAX 调用之前和之后检查 DOM 树，这样您就知道如何引用页面上的特定控件（例如链接和下拉菜单）。

然后我会使用 XPath 来获取特定元素，例如。你可以这样做（来自 HTML Unit 的示例）：

//get div which has a 'name' attribute of 'John'
final HtmlDivision div = (HtmlDivision) page.getByXPath("//div[@name='John']").get(0);

YouTube 实际上不使用 AJAX 来处理其结果。当您单击结果页面上的排序下拉列表（这是一个经过修饰的 ）时，会显示绝对定位的

（这模拟了下拉列表）组合的一部分），每个菜单项都有
• 元素。
• 元素包含一个特殊的 元素，并附加了 href 属性。当您单击 元素时，Javascript 会将浏览器导航到此 href 值。

例如。就我而言，按相关性排序 元素如下所示：

<span href="/results?search_type=videos&search_query=test&suggested_categories=2%2C24%2C10%2C1%2C28" class=" yt-uix-button-menu-item" onclick=";window.location.href=this.getAttribute('href');return false;">Relevancia</span>

您可以相对轻松地获取这些范围的列表，因为托管

是唯一的 的此类子级。尽管您必须先单击下拉按钮，因为它将使用 Javascript 创建包含上述所有子元素的
元素。您可以使用此 XPath 获得排序依据按钮：

//div[@class='sort-by floatR']/button

您可以测试您的 XPath 查询，例如。如果您从 Chrome 的工具栏打开开发人员工具和 Javascript 开发人员控制台，就可以在 Chrome 中进行操作。然后你可以这样测试：

>  $x("//div[@class='sort-by floatR']/button")

[
<button type=​"button" class=​" yt-uix-button yt-uix-button-text yt-uix-button-active" onclick=​";​return false;​" role=​"button" aria-pressed=​"true" aria-expanded=​"true" aria-haspopup=​"true" aria-activedescendant data-button-listener=​"26">​…​</button>​
]

希望这能让你走向正确的方向。

Answer 4

http://htmlunit.sourceforge.net/faq.html#AJAXDoesNotWork