Lucene：使用 PrefixQuery 进行分数计算

Question

我在使用 PrefixQuery 进行分数计算时遇到问题。为了更改每个文档的分数，当将文档添加到索引中时，我使用 setBoost 来更改文档的提升。然后我创建PrefixQuery来搜索，但是结果没有根据boost改变。看来 setBoost 完全不适用于 PrefixQuery。请检查下面的代码：

 @Test
 public void testNormsDocBoost() throws Exception {
    Directory dir = new RAMDirectory();
    IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_CURRENT), true,
            IndexWriter.MaxFieldLength.LIMITED);
    Document doc1 = new Document();
    Field f1 = new Field("contents", "common1", Field.Store.YES, Field.Index.ANALYZED);
    doc1.add(f1);
    doc1.setBoost(100);
    writer.addDocument(doc1);
    Document doc2 = new Document();
    Field f2 = new Field("contents", "common2", Field.Store.YES, Field.Index.ANALYZED);
    doc2.add(f2);
    doc2.setBoost(200);
    writer.addDocument(doc2);
    Document doc3 = new Document();
    Field f3 = new Field("contents", "common3", Field.Store.YES, Field.Index.ANALYZED);
    doc3.add(f3);
    doc3.setBoost(300);
    writer.addDocument(doc3);
    writer.close();

    IndexReader reader = IndexReader.open(dir);
    IndexSearcher searcher = new IndexSearcher(reader);

    TopDocs docs = searcher.search(new PrefixQuery(new Term("contents", "common")), 10);
    for (ScoreDoc doc : docs.scoreDocs) {
        System.out.println("docid : " + doc.doc + " score : " + doc.score + " "
                + searcher.doc(doc.doc).get("contents"));
    }
} 

输出是：

 docid : 0 score : 1.0 common1
 docid : 1 score : 1.0 common2
 docid : 2 score : 1.0 common3

Answer 1

默认情况下，PrefixQuery 重写查询以使用 ConstantScoreQuery，它为每个匹配文档提供 1.0 的分数。我认为这是为了让 PrefixQuery 更快。所以你的提升会被忽略。

如果您希望增强在 PrefixQuery 中生效，则需要在前缀查询实例上使用 SCORING_BOOLEAN_QUERY_REWRITE 常量来调用 setRewriteMethod()。请参阅http://lucene.apache.org/java/2_9_1/api/ all/index.html 。

对于调试，您可以使用 searcher.explain()。

Answer 2

这是预期的行为。以下是 Lucene 创建者 Doug Cutting 的解释：

PrefixQuery 相当于包含所有与
前缀，因此通常包含很多术语。有了这么大的
查询，匹配文档可能包含较少的查询术语，并且
比赛因此较弱。

请阅读引用来源的原始帖子。

对于 Lucene，通常最好仅使用分数作为一组文档中相关性的相对度量。分数的绝对值会根据许多因素而变化，因此不应按原样使用。

更新
Cutting 的解释是指旧版本的 Lucene。因此 bajafresh4life 的答案是正确的。

Answer 3

更改重写方法

Bajafresh4life 建议调用setRewriteMethod。然而，这不是在 Lucene.Net 中更改此设置的方式。下面是在 C# 中执行此操作的方法：

默认情况下，每个 PrefixQuery 由 QueryParser 的 NewPrefixQuery 方法返回，如下所示：

protected internal virtual Query NewPrefixQuery(Term prefix)
{
    return new PrefixQuery(prefix) { RewriteMethod = multiTermRewriteMethod };
}

您可以在之后更改此设置使用 QueryParser.MultiTermRewriteMethod 的 set 属性实例化您的解析器，如下所示：

var parser = new QueryParser( Version.LUCENE_30, field, analyzer );
parser.MultiTermRewriteMethod = MultiTermQuery.SCORING_BOOLEAN_QUERY_REWRITE;

请注意，这也会更改其他查询的行为，而不仅仅是前缀查询。要仅影响前缀查询，您可以子类化 QueryParser 并重写 NewPrefixQuery，以便返回的 PrefixQuery 的构造函数使用您选择的重写方法。

使用哪种重写方法

不过，这似乎并没有解决我的问题。实际上，我使用 MultiTermQuery.CONSTANT_SCORE_BOOLEAN_QUERY_REWRITE 的运气更好。在这个方法的描述中，它说

与 SCORING_BOOLEAN_QUERY_REWRITE 类似，但不计算分数。相反，每个匹配文档都会收到一个等于查询提升的恒定分数。

但这可能是因为我还对 PrefixQuery 进行了子类化并覆盖了 ReWrite 以分配我想要的分数作为提升。

经过大量调试后，我最终发现，当我尝试使用 SCORING_BOOLEAN_QUERY_REWRITE 时，DefaultSimilarity.QueryNorm 在使用它返回的值时会干扰我的分数在 Weight.Normalize 中，它在 Query.Weight 中调用。