我应该用什么来爬取许多新闻文章？

Question

我有一个自然语言处理项目，但为此我需要从雅虎新闻、谷歌新闻或博客等来源抓取许多网络文章......

我是一名java开发人员（所以我宁愿使用java工具）。我想我可以自己解析每个源网站并使用 HttpClient / XPath 提取文章，但我有点懒:) 有没有办法让我不必为每个源创建一个解析器？

（我不仅对新文章感兴趣，还对2000年至今的文章感兴趣）

Answer 1

NLP 最困难的部分是获取可以使用的数据。其他一切都只是数学。

由于涉及版权问题，除了每个新闻来源的网站之外，可能很难找到大量新闻文章。如果您不需要最新新闻，最好的选择可能是查看语言数据联盟的 英语Gigaword语料库；如果您在大学，可能已经存在可供您免费使用数据的关系。

如果您需要实际抓取和解析网站，现在您可能会发现必须为各种新闻网站编写特定的解析器，以确保获得正确的文本。然而，一旦更多的网站开始使用 HTML5，通过使用 文章标签。

要进行实际的爬行，上一个问题可以为您指出在一些有用的方向。