Lucene (Java) 中的过滤术语计数

Question

我目前正在尝试使用 Lucene 获取描述字段中每个单词的出现次数。 Fe

• 描述：BOX OF APPLES
• 描述：BOX OF BANANAS

输出：

• BOX 2
• OF 2
• APPLES 1
• BANANAS 1

我正在寻找单词和频率。

问题是我想将这些结果过滤到给定文档，我的意思是只计算给定文档的描述字段中的单词。

感谢您提供的任何帮助。

//回答评论： 我有这样的东西：

public ArrayList<ObjectA> GetIndexTerms(String code) {
        try {

            ArrayList<Object> termlist = new ArrayList<ObjectA>();
            indexR = IndexReader.open(path); 
            TermEnum terms = indexR.terms();           

            while (terms.next()) {
                Term term = terms.term();
                String termText = term.text();                    
                int frequency = indexR.docFreq(term); 
                ObjectA newObj = new ObjectA(termText, frequency);
                termlist.add(newObj);                      
                }                   
            }               
            return termlist;
        } catch (Exception ex) {               
            ex.printStackTrace();
            return null;
        }
}

但我不知道如何按文档过滤它...

---

//今天！

使用 termfreqvec 我可以让它工作，但它需要 de doc id，我无法正确使用它。因为我使用了一个从 0 开始的查询 de“i”值，所以这不是正确的文档 ID。有什么想法可以让它正常工作吗？ 谢谢！

    TopDocs tp = indexS.search(query, Integer.MAX_VALUE);
        for (int i = 0; i < tp.scoreDocs.length; i++){  
            ScoreDoc sds = tp.scoreDocs[i];
            Document doc = indexS.doc(sds.doc);
            TermFreqVector tfv = indexR.getTermFreqVector(i,"description");

            for (int j = 0; j < tfv.getTerms().length; j++) {
                String item = tfv.getTerms()[j];
                termlist.add(new TerminoDescripcion(item.toUpperCase(), tfv.getTermFrequencies()[j]));
            }
        }

Answer 1

问题在于 Lucene 是一个倒排索引，这意味着它可以轻松地根据术语检索文档，而您正在寻找相反的内容，即根据文档检索术语。

希望这是一个经常出现的问题，Lucene 使您能够检索文档的术语（术语向量），前提是您在索引时启用了此功能。

请参阅 TermVector.YES 和 字段构造函数 了解如何在索引时启用它们以及 IndexReader 了解如何检索术语向量在搜索时。

或者，您可以动态重新分析存储的字段，但这可能会更慢，尤其是在大型字段上。