Solr：结合 EdgeNGramFilterFactory 和 NGramFilterFactory

Question

我有一种情况需要同时使用 EdgeNGramFilterFactory 和 NGramFilterFactory。

我正在使用 NGramFilterFactory 执行“包含”样式搜索，最小字符数为 2。我还想搜索第一个字母，例如带有前面 EdgeNGramFilterFactory 的“startswith”。

我不想将 NGramFilterFactory 降低到最小字符数 1，因为我不想索引所有字符。

一些帮助将不胜感激

干杯

Answer 1

您不必在同一领域完成所有这些工作。我会为每种处理使用不同的自定义类型创建不同的字段，以便您可以单独应用逻辑。

在下面的内容中：

• text 包含经过最低限度处理的原始标记；
• text_ngram 对至少两个字符的标记使用 NGramFilter
• text_first_letter 对单字符首字母标记使用 EdgeNGram

如果您正在处理所有文本 字段以这种方式，那么您可能可以使用 copyField 来填充字段。否则，您可以指示 Solr 客户端为三个单独的字段类型发送相同的字段值。

搜索时，使用 qf 参数将所有这些都包含在搜索中。

<fieldType name="text" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StandardFilterFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

<fieldType name="text_ngram" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StandardFilterFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.NGramFilterFactory" minGramSize="2" maxGramSize="15" side="front"/>
  </analyzer>
</fieldType>

<fieldType name="text_first_letter" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StandardFilterFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="1" side="front"/>
  </analyzer>
</fieldType>

设置 field 和 dynamicField 定义由您决定。或者，如果您有更多问题，请告诉我，我可以进行编辑并进行澄清。

Answer 2

首先应用 EdgeNgramFilter，最小值 = 1，最大值 = 1000（我们希望包含整个原始标记）。示例：

你好=> 'h', 'he', 'hel', 'hell', 'hello'

其次使用 min = 2 的 NGramFilter。（为了简单起见，我将在示例中使用 2 作为最大值）

'h', 'he', 'hel', '地狱', '你好' => 'h', 'he', 'he', 'el', 'he', 'el', 'll', 'he', 'el', 'll', 'lo'

现在你将有几个相同的标记因为您已对 EdgeNGramFilter 中的所有“部分”标记应用了 NGramFilter，但只需应用 RemoveDuplicatesTokensFilter 即可删除这些标记。

'h', 'he', 'he', 'el', 'he', 'el', 'll', 'he', 'el', 'll', 'lo' => 'h', 'he', 'el', 'll', 'lo'

现在您的字段将支持单个字符“startsWith”查询和多个字符“contains”查询。