Lucene 中短语查询的位置偏移

Question

我正在致力于自定义荧光笔插件（使用 FVH）来输出给定搜索的查询词的位置偏移量。到目前为止，我已经能够使用下面的代码提取正常查询的偏移信息。然而，对于短语查询，代码返回所有查询术语（即术语集）的位置偏移量，即使它不是短语查询的一部分。因此，我想知道Lucene中是否有一种方法可以使用FVH获取Phrase查询中仅匹配短语的偏移信息？

// In DefaultSolrHighlighter.java::doHighlightingByFastVectorHighlighter()

SolrIndexSearcher searcher = req.getSearcher();
TermFreqVector[] tvector = searcher.getReader().getTermFreqVectors(docId);
TermPositionVector tvposition = (TermPositionVector) tvector[0];

 Set<String> termSet = highlighter.getHitTermSet (fieldQuery, fieldName);

 int[] positions;
 List hitOffsetPositions = new ArrayList<String[]>();

 for (String term : termSet)
 {
    int index = tvposition.indexOf(term); 
    positions = tvposition.getTermPositions(index);

    StringBuilder sb = new StringBuilder();
    for (int pos : positions)
    {
        if (!Integer.toString(pos).isEmpty())
            sb.append( pos ).append(',');
    }
    hitOffsetPositions.add(sb.substring(0, sb.length() - 1).toString());
 }

 if( snippets != null && snippets.length > 0 )
{
  docSummaries.add( fieldName, snippets );
  docSummaries.add( "hitOffsetPositions", hitOffsetPositions);
}


// In FastVectorHighlighter.java
// Wrapper function to get query Terms
   public Set<String> getHitTermSet (FieldQuery fieldQuery, String fieldName)
  {
      Set<String> termSet = fieldQuery.getTermSet( fieldName );
      return termSet;
  }

当前输出：

<lst name="6H500F0">
  <arr name="name">
  <str> New <em>hard drive</em> 500 GB SATA-300 and old drive 200 GB</str>
</arr>
<arr name="hitOffsetPositions">
    <str>2</str>
    <str>3</str>
    <str>10</str>
</arr>

预期输出：

<lst name="6H500F0">
  <arr name="name">
  <str> New <em>hard drive</em> 500 GB SATA-300 and old drive 200 GB</str>
</arr>
<arr name="hitOffsetPositions">
    <str>2</str>
    <str>3</str>
</arr>

我试图突出显示的字段有 termVectors="true"、termPositions="true" 和 termOffsets="true" 并使用 Lucene 3.1.0。

Answer 1

我无法让 FVH 正确处理短语查询，最终不得不开发自己的摘要器。 此处讨论了我的方法的要点；我最终要做的是创建一组对象，每个对象对应我从查询中提取的每个术语。每个对象都包含一个单词索引及其位置，以及它是否已在某些匹配中使用。这些实例是下面示例中的 TermAtPosition 实例。然后，给定位置范围和与短语查询相对应的单词标识（索引）数组，我迭代该数组，寻找匹配给定范围内的所有术语索引。如果找到匹配项，我会将每个匹配项标记为正在使用，并将匹配范围添加到匹配项列表中。然后我可以使用这些匹配来对句子进行评分。这是匹配代码：

protected void scorePassage(TermPositionVector v, String[] words, int span, 
                    float score, SentenceScore[] scores, Scorer scorer) {
    TermAtPosition[] order = getTermsInOrder(v, words);
    if (order.length < words.length)
        return;
    int positions[] = new int[words.length];
    List<int[]> matches = new ArrayList<int[]>();
    for(int t=0; t<order.length; t++) {
        TermAtPosition tap = order[t];
        if (tap.consumed)
            continue;

        int p = 0;
        positions[p++] = tap.position;
        for(int u=0; u<words.length; u++) {
            if (u == tap.termIndex)
                continue;
            int nextTermPos = spanContains(order, u, tap.position, span);
            if (nextTermPos == -1)
                break;
            positions[p++] = nextTermPos;
        }
        // got all terms
        if (p == words.length)
            matches.add(recordMatch(order, positions.clone()));
    }
    if (matches.size() > 0)
        for (SentenceScore sentenceScore: scores) {
            for(int[] matchingPositions: matches)
                scorer.scorePassage(sentenceScore, matchingPositions, score);
    }
}


protected int spanContains(TermAtPosition[] order, int targetWord, 
                  int start, int span) {
    for (int i=0; i<order.length; i++) {
        TermAtPosition tap = order[i];
        if (tap.consumed || tap.position <= start || 
                       (tap.position > start + span))
            continue;
        if (tap.termIndex == targetWord)
            return tap.position;
    }
    return -1;
}

这种方法似乎有效，但它是贪婪的。给定一个序列“aab c”，它将匹配第一个 a（不考虑第二个 a），然后匹配 b 和 c。我认为可以应用一些递归或整数编程来使其不那么贪婪，但我不会被打扰，并且无论如何都想要一个更快而不是更准确的算法。