如何在 Solr 中配置词干提取？

Question

我添加到 solr 索引：“美国”。当我搜索“美国”时，没有结果。

应该如何配置 schema.xml 才能获得结果？

当前配置：

<fieldType name="text" class="solr.TextField" positionIncrementGap="100">
            <analyzer type="index">
                <tokenizer class="solr.WhitespaceTokenizerFactory" />
                <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" />
                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
                <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" />
                <filter class="solr.LowerCaseFilterFactory" />
                <filter class="solr.EnglishPorterFilterFactory" protected="protwords.txt" />
                <filter class="solr.RemoveDuplicatesTokenFilterFactory" />
                <filter class="solr.PorterStemFilterFactory"/>
            </analyzer>
            <analyzer type="query">
                <tokenizer class="solr.WhitespaceTokenizerFactory" />
                <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" />
                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
                <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" />
                <filter class="solr.LowerCaseFilterFactory" />
                <filter class="solr.EnglishPorterFilterFactory" protected="protwords.txt" />
                <filter class="solr.RemoveDuplicatesTokenFilterFactory" />
                <filter class="solr.PorterStemFilterFactory"/>
            </analyzer>
        </fieldType>

Answer 1

为什么要有两个词干提取器？
尝试从两种分析器类型中删除 EnglishPorterFilterFactory（已弃用），重建索引，然后尝试搜索 American 是否会产生 America。

如果这不起作用，您可以尝试的另一件事是删除两个词干分析器过滤器并添加带有 language="English" 的 SnowballPorterFilterFactory 。

Answer 2

您必须为分析器使用一个词干分析器，并且EnglishPorterFilterFactory已被弃用，正如@Marko已经提到的那样。所以你应该从分析器中删除这个。

我将 SnowballPorterFilterFactory 用于索引和查询分析器 -

<fieldType name="text_stem">
    <analyzer> 
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.SnowballPorterFilterFactory"/>
        <!-- other filters -->
    </analyzer>
</fieldType>

fieldType 定义非常不言自明，但以防万一：

• Tokenizer solr.WhitespaceTokenizerFactory：此操作将使用空格作为分隔符将句子分解为单词。

• 过滤器 solr.SnowballPorterFilterFactory：此过滤器将对每个单词（标记）应用词干算法。在上面的示例中，我选择了 Snowball Porter 词干算法。 Solr 提供了一些流行的词干算法的实现。

您可以浏览其他几种词干算法，例如 HunspellStemFilterFactory、KStemFilterFactory 也是如此。