一些帮助在 Java 中抓取页面

Question

我需要使用 Java 抓取网页，并且我了解到正则表达式是一种非常低效的方法，应该将其放入 DOM 文档中进行导航。

我尝试阅读文档，但它似乎太广泛了，我不知道从哪里开始。

你能告诉我如何将这个表抓取到数组中吗？我可以尝试从那里找出我的路。一个片段/示例也可以。

谢谢。

Answer 1

您可以尝试 jsoup：Java HTML 解析器。这是一个优秀的库，有很好的示例代码。

Answer 2

1. 将您尝试废弃的网页转换为XHTML文档。有几个选项可以使用 Java 执行此操作，例如 JTidy 和HTMLCleaner。这些工具还将自动修复格式错误的 HTML（例如，关闭未关闭的标签）。两者都工作得很好，但我更喜欢 JTidy，因为它与 Java 的 DOM API 集成得更好；
2. 使用XPath提取所需信息表达式。

这是一个使用 JTidy 和您提供的网页的工作示例，用于从表中提取所有文件名。

public static void main(String[] args) throws Exception {
    // Create a new JTidy instance and set options
    Tidy tidy = new Tidy();
    tidy.setXHTML(true); 

    // Parse an HTML page into a DOM document
    URL url = new URL("http://www.cs.grinnell.edu/~walker/fluency-book/labs/sample-table.html");        
    Document doc = tidy.parseDOM(url.openStream(), System.out);

    // Use XPath to obtain whatever you want from the (X)HTML
    XPath xpath = XPathFactory.newInstance().newXPath();
    XPathExpression expr = xpath.compile("//td[@valign = 'top']/a/text()");
    NodeList nodes = (NodeList)expr.evaluate(doc, XPathConstants.NODESET);
    List<String> filenames = new ArrayList<String>();
    for (int i = 0; i < nodes.getLength(); i++) {
        filenames.add(nodes.item(i).getNodeValue()); 
    }

    System.out.println(filenames);
}

结果将如预期的那样为 [整数处理：、图像处理：、相册：、运行时实验：、更多运行时实验：]。

您可以使用的另一个很酷的工具是 Web Harvest。它基本上完成了我上面所做的所有事情，但使用 XML 文件来配置提取管道。

Answer 3

正则表达式绝对是最佳选择。构建 DOM 过于复杂，本身就需要大量的文本解析。

Answer 4

如果您所做的只是将表抓取到数据文件中，那么正则表达式就可以了，甚至可能比使用 DOM 文档更好。 DOM 文档将占用大量内存（尤其是对于非常大的数据表），因此您可能需要一个 SAX 解析器来处理大型文档。