HTMLUnit 不会等待 Javascript

Question

我有一个基于 GWT 的页面，我想使用 HtmlUnit 为其创建 HTML 快照。 该页面使用产品上的 Ajax/JavaScript 信息进行加载，因此大约 1 秒后会出现“正在加载...”消息，然后显示内容。

问题是 HtmlUnit 似乎没有捕获信息，我得到的只是“正在加载...”范围。

下面是一个使用 HtmlUnit 的实验代码，我尝试给它足够的时间来等待数据的加载，但它似乎没有改变任何东西，而且我仍然无法捕获 GWT javascript 加载的数据。

        WebClient webClient = new WebClient();
        webClient.setJavaScriptEnabled(true);
        webClient.setThrowExceptionOnScriptError(false);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController()); 

        WebRequest request = new WebRequest(new URL("<my_url>"));
        HtmlPage page = webClient.getPage(request);

        int i = webClient.waitForBackgroundJavaScript(1000);

        while (i > 0)
        {
            i = webClient.waitForBackgroundJavaScript(1000);

            if (i == 0)
            {
                break;
            }
            synchronized (page) 
            {
                System.out.println("wait");
                page.wait(500);
            }
        }

        webClient.getAjaxController().processSynchron(page, request, false);

        System.out.println(page.asXml());

有什么想法吗...？

Answer 1

感谢您的回复。
实际上我应该早点报告这一点，因为我自己找到了解决方案。
显然，当使用 FF 初始化 WebClient 时：

WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3_6);

它似乎正在工作。
当使用默认构造函数初始化 WebClient 时，它默认使用 IE7，我猜 FF 对 Ajax 有更好的支持，是推荐使用的模拟器。

Answer 2

我相信默认情况下 NicelyResynchronizingAjaxController 只会通过跟踪其源自哪个线程来重新同步由用户操作引起的 AJAX 调用。也许 GWT 生成的 JavaScript 正在被 NicelyResynchronizingAjaxController 不想等待的其他线程调用。

尝试声明您自己的 AjaxController 来与所有内容同步，无论原始线程如何：

webClient.setAjaxController(new AjaxController(){
    @Override
    public boolean processSynchron(HtmlPage page, WebRequest request, boolean async)
    {
        return true;
    }
});

Answer 3

正如文档所述， waitForBackgroundJavaScript 是实验性的：

实验性 API：可能会在下一个版本中进行更改，并且可能尚未完美运行！

无论使用什么 BrowserVersion，下一种方法始终对我有用：

int tries = 5;  // Amount of tries to avoid infinite loop
while (tries > 0 && aCondition) {
    tries--;
    synchronized(page) {
        page.wait(2000);  // How often to check
    }
}

注意 aCondition 是您要检查的内容。例如：

page.getElementById("loading-text-element").asText().equals("Loading...")

Answer 4

到目前为止提供的解决方案都不适合我。我最终得到了 Dan Alvizu 的解决方案 + 我自己的技巧：

private WebClient webClient = new WebClient();

public void scrapPage() {
    makeWebClientWaitThroughJavaScriptLoadings();
    HtmlPage page = login();
    //do something that causes JavaScript loading
    waitOutLoading(page);
}

private void makeWebClientWaitThroughJavaScriptLoadings() {
    webClient.setAjaxController(new AjaxController(){
        @Override
        public boolean processSynchron(HtmlPage page, WebRequest request, boolean async)
        {
            return true;
        }
    });
}

private void waitOutLoading(HtmlPage page) {
    while(page.asText().contains("Please wait while loading!")){
        webClient.waitForBackgroundJavaScript(100);
    }
}

不用说，“加载时请稍候！”应替换为页面加载时显示的任何文本。如果没有文本，也许有一种方法可以检查某些 gif 是否存在（如果使用的话）。当然，如果您喜欢冒险，您可以简单地提供足够大的毫秒值。