Lucene.net 4.8 无法使用重音进行搜索

Question

基于堆栈溢出中的一些帮助，我设法创建了一个自定义分析器，但仍然无法解决单词有重音的搜索问题。

public class CustomAnalyzer : Analyzer
{
    LuceneVersion matchVersion;

    public CustomAnalyzer(LuceneVersion p_matchVersion) : base()
    {
        matchVersion = p_matchVersion;
    }
    protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
    {
        Tokenizer tokenizer = new KeywordTokenizer(reader);
        TokenStream result = new StopFilter(matchVersion, tokenizer, StopAnalyzer.ENGLISH_STOP_WORDS_SET);            
        result = new LowerCaseFilter(matchVersion, result); 
        result = new StandardFilter(matchVersion, result);
        result = new ASCIIFoldingFilter(result);
        return new TokenStreamComponents(tokenizer, result);
       
    }
}

这个想法是能够搜索“perez”并找到“Pérez”。使用该分析器，我重新创建了索引并进行了搜索，但仍然没有带重音的单词的结果。

作为 LuceneVersion，我正在使用 LuceneVersion.LUCENE_48

任何帮助将不胜感激。 谢谢！

Answer 1

最初在 GitHub 上回答，但复制到此处以获取上下文。

不，在同一个分析器中使用多个标记器是无效的，因为有 要遵守的严格消费规则。

构建代码分析组件以确保开发人员在键入时遵守这些标记器规则会很棒，例如 确保的规则TokenStream 类是密封的或使用密封的 IncrementToken() 方法（欢迎贡献）。不过，我们不太可能在 4.8.0 版本之前添加任何其他代码分析器，除非它们是由社区贡献的，因为这些分析器不会阻止发布。目前，确保自定义分析器遵守规则的最佳方法是使用 Lucene.Net.TestFramework，它还使用多线程、随机区域性和随机文本字符串来打击它们，以确保它们的稳健性。

我构建了一个演示，展示如何在自定义分析器上设置测试： https://github.com/NightOwl888/LuceneNetCustomAnalyzerDemo< /a> （以及显示上面的示例如何未能通过测试）。功能分析器仅使用 WhiteSpaceTokenizer 和 ICUFoldingFilter。当然，您可能希望添加额外的测试条件以确保您的自定义分析器满足您的期望，然后您可以尝试不同的分词器并添加或重新排列过滤器，直到找到满足您所有要求的解决方案（以及通过Lucene 的规则）。当然，您可以稍后在发现问题时添加其他条件。

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Core;
using Lucene.Net.Analysis.Icu;
using Lucene.Net.Util;
using System.IO;

namespace LuceneExtensions
{
    public sealed class CustomAnalyzer : Analyzer
    {
        private readonly LuceneVersion matchVersion;

        public CustomAnalyzer(LuceneVersion matchVersion)
        {
            this.matchVersion = matchVersion;
        }

        protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
        {
            // Tokenize...
            Tokenizer tokenizer = new WhitespaceTokenizer(matchVersion, reader);
            TokenStream result = tokenizer;

            // Filter...
            result = new ICUFoldingFilter(result);

            // Return result...
            return new TokenStreamComponents(tokenizer, result);
        }
    }
}

using Lucene.Net.Analysis;
using NUnit.Framework;

namespace LuceneExtensions.Tests
{
    public class TestCustomAnalyzer : BaseTokenStreamTestCase
    {
        [Test]
        public virtual void TestRemoveAccents()
        {
            Analyzer a = new CustomAnalyzer(TEST_VERSION_CURRENT);

            // removal of latin accents (composed)
            AssertAnalyzesTo(a, "résumé", new string[] { "resume" });

            // removal of latin accents (decomposed)
            AssertAnalyzesTo(a, "re\u0301sume\u0301", new string[] { "resume" });

            // removal of latin accents (multi-word)
            AssertAnalyzesTo(a, "Carlos Pírez", new string[] { "carlos", "pirez" });
        }
    }
}

有关可以使用的测试条件的其他想法，我建议查看 Lucene.Net 的 广泛的分析器测试包括 ICU 测试。您还可以参考这些测试，看看是否可以找到与您的构建查询类似的用例（尽管请注意，这些测试没有显示处理对象的 .NET 最佳实践）。