网页噪音消除

Question

我正在尝试从网页中去除噪音。但由于我是新手，所以我不知道从哪里开始。 因此，如果有人能给我任何有关如何操作的信息，这将非常有帮助。

噪音 - 链接、版权声明等。

Sudhanshu

Answer 1

Boilerpipe 看起来就像您所要求的：http://code.google.com/p/boilerpipe/

boilerpipe 库提供了算法来检测和删除
主要文本周围多余的“混乱”（样板、模板）
网页内容。

该库已经为常见任务提供了具体策略（例如
例如：新闻文章提取），也可以轻松扩展为
单独的问题设置。