在爬网或使用 nutch 和 solr 建立索引期间从 html 中删除菜单

Question

我正在使用 nutch 爬行我们的大型网站，然后使用 solr 进行索引，结果非常好。然而，网站上有几个菜单结构会索引并破坏查询结果。

这些菜单中的每一个都在 DIV 中明确定义，因此

...

或

...

以及其他几个。

我需要在某个时候删除这些 DIVS 中的内容。

我猜测正确的位置是在 solr 索引期间，但无法弄清楚如何进行。

模式看起来像 (

).*?(<\/div>) 但我无法让它在 ).*?(<\/div>)" /> 我不太确定该放在哪里它在 schema.xml 中。

当我将该模式放入 schema.xml 时，不会解析。

Answer 1

这里有一个 SOLR 补丁，您可以将其放置在索引配置中以忽略您配置的标签的内容。不过，它只适用于 XML，所以如果您可以整理 HTML 或者您知道它是 XHTML，那么这可以工作，但它不适用于任何随机 HTML。

Answer 2

我认为您有几个选择：

1. 扩展 Nutch HTML 解析器，并添加逻辑以去除标头。 （可能有更好的地方可以做到这一点，比如当你拥有原始数据但在解析 DOM 之前）
2. 让你的网站足够智能，在 nuch 爬行时不绘制标题。只需检查请求标头中的 User-Agent 值即可轻松完成此操作。您可能需要更好地播种爬行，因为标题中的链接不会帮助 nutch 找到其他页面。
3. 不知何故让 Solr 删除 nutch 数据的标题。我不确定你会如何做到这一点，我认为这意味着你会失去一些 Nutch/Solr 协同作用。
4. 以某种方式编辑 Nutch 索引（只是 lucene 索引）。理论上，您可以遍历索引中的所有文档，并对每个文档的正确属性进行修剪。

我认为最简单的方法是执行#2，如果您有一致的绘制标题的方法（即皮肤或公共包含）。然后也许#1 和#4。我认为#3 是最难的，但我可能是错的。

Answer 3

Nutch 1.12 中引入了一个新功能，使用 apache tika 解析器，该解析器使用锅炉管算法，在解析阶段本身从 html 页面中剥离页眉和页脚内容。

我们可以在 nutch-site.xml 中使用以下属性来实现此功能：

<!-- parse-tika plugin properties -->
<property>
  <name>tika.extractor</name>
  <value>boilerpipe</value>
  <description>
  Which text extraction algorithm to use. Valid values are: boilerpipe or none.
  </description>
</property>
<property>
  <name>tika.extractor.boilerpipe.algorithm</name>
  <value>DefaultExtractor</value>
  <description>
  Which Boilerpipe algorithm to use. Valid values are: DefaultExtractor, ArticleExtractor
  or CanolaExtractor.
  </description>
</property>

它对我有用。希望它也适用于其他人...:)

有关详细概述，您可以参考这张票：
https://issues.apache.org/jira/browse/NUTCH-961

Answer 4

如果你想这样做，我相信你应该用 nutch 编写一个自定义的解析器，这样要索引的数据不包含该数据。
基本上解析后的文本数据是没有任何结构的原始文本。