网络爬行 - 用 Ja​​va 识别网页上的主要内容

Question

从事一个小爱好项目，抓取一些网页，主要是我们的用户发布的博客和新闻网站。

我们有一个小脚本，它只需要一个 URL 列表并抓取拉入所有内容的页面，基本上是使用 Apache HTTP 组件的 hello world 版本...

无论如何，我们想对这些上出现的文本进行一些分析页。但由于任何 URL 都可以以任何格式出现，我们需要一些相当可靠的方法来识别网页上的主要内容（这里有一些错误是可以的）。

有谁知道任何开源框架或 Java 中的小脚本可用于识别网页中的主要文本内容？

我想到了几种方法，例如简单地查找具有最可见文本的最大 DOM 元素，或者比较用于描述某些文本（即元数据）与实际文本数据的字符数。我希望有人能在 Java 中发布一些东西来做到这一点，但如果没有，因为我将不厌其烦地这样做，是否需要这样的实用程序？

干杯!

Answer 1

我认为 boilerpipe 对您有用。
看看这里：http://code.google.com/p/boilerpipe/

并且这是教程：
http://code.google.com/p/boilerpipe/wiki/QuickStart

对我来说似乎很简单：

URL url = new URL("http://www.example.com/some-location/index.html");   
// NOTE: Use ArticleExtractor unless DefaultExtractor gives better results for you           
String text = ArticleExtractor.INSTANCE.getText(url);