Apache Solr topTerms (LukeRequestHandler) 未给出正确的令牌计数

Question

我正在使用 Solr 4 trunk 版本，已经使用了几天。

根据 LukeRequestHandler 的 Wiki 页面（第一个示例输出），我们应该获取每个或任何指定字段的标记计数。我想用它来计算所有文档中每个单词出现的次数。例如，如果单词“is”出现在两个 MS Word 文档中，第一个文档中出现两次，第二个文档中出现三次，我将得到如下输出

<lst name="text">
  <str name="type">text</str>
  <str name="schema">IT-M---------</str>
  <str name="index">(unstored field)</str>
  <int name="docs">2</int>
  <int name="distinct">42</int>
  <lst name="topTerms">
    <int name="is">5</int>

：两个文件。然而我实际得到的是 2。我认为这是因为它明显（通过文档）总共出现了两次。

但同样，根据维基百科，我们应该得到所有文档的总计数，这正是我真正想要的。

---

如何获取所有索引文档中每个单词出现的总次数？

---

参考：

http://wiki.apache.org/solr/LukeRequestHandler

Answer 1

TermsComponent 返回的文档频率是与该术语匹配的唯一文档的数量，包括具有以下特征的任何文档：已标记为删除但尚未从索引中删除。

TermVectorComponent 提供有关在字段上设置 termVector 属性时存储的文档的信息。
TVC可以返回词向量、词频率、逆文档频率以及位置和偏移信息。

tv.tf - 返回文档中每个术语的文档术语频率信息。

<lst name="termVectors">
  <lst name="doc-5">
    <str name="uniqueKey">MA147LL/A</str>
    <lst name="includes">
      <lst name="cable">
        <int name="tf">1</int>
      </lst>
      <lst name="earbud">
        <int name="tf">5</int>
      </lst>
      <lst name="headphones">
        <int name="tf">1</int>
      </lst>
      <lst name="usb">
        <int name="tf">1</int>
      </lst>
    </lst>
  </lst>
  ...............
</lst>