加载异步脚本后 Java 抓取网站

Question

背景很少，我试图为客户提供直接添加 HTML 并发布单页网站（如 blogspot）的选项。这带来了诈骗者的问题，所以我创建了一个微服务来阻止基于 HTML 内容的发布网站。

最初我使用 JSoup 从网站获取 HTML，现在骗子已经变异并使用外部网站加载脚本，并且它是异步加载的

所以我最初渲染的 HTML 没有任何诈骗内容，因此它逃避了网站拦截。我试图在脚本完全加载后或在某个固定时间后抓取网站内容。

我尝试过，但总是得到预黑客脚本加载的 HTML。

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

并尝试了 htmlunit

        WebClient webClient = new WebClient();
        webClient.getOptions().setJavaScriptEnabled(false);
        webClient.getOptions().setCssEnabled(false);
        HtmlPage page = webClient.getPage("http://example.com");

在所有脚本都用 Java 加载后，有没有一种优雅的方式来抓取网站？

Answer 1

您正在讨论的脚本是在浏览器中执行的 - 如果您想在脚本之后获取页面，

• 则不能使用 jsoup，因为 jsoup 根本没有 js 支持，因此无法
• 使用 HtmlUnit 处理脚本，您必须启用js 支持，然后可能等待脚本的执行（例如 webclient.waitForBackgroundJavaScript()）。之后页面中的 dom 树就会更新，您可以使用常用的选择器来获取您想知道的内容。

如果您仍然遇到问题，请在 github 上打开 HtmlUnit 问题，并包含您所使用的 url，以便我们有机会重现您的案例。