无法让 CJKAnalyzer/Tokenizer 识别日语文本

Question

我正在使用 Lucene.NET，它非常棒。然后研究如何让它搜索亚洲语言。因此，我从 StandardAnalyzer 迁移到 CJKAnalyzer。

这对于韩语（尽管 StandardAnalyzer 对于韩语工作正常！）和中文（没有）工作得很好，但我仍然无法让程序识别日语文本。

就像一个非常小的例子，我编写了一个小型数据库（使用 CJKAnalyzer），其中包含几个单词，然后尝试从数据库中读取：

public void Write(string text, AnalyzerType type)
        {
            Document document = new Document();

            document.Add(new Field(
                "text",
                text,
                Field.Store.YES,
                Field.Index.ANALYZED));

            IndexWriter correct = this.chineseWriter;
            correct.AddDocument(document);            
        }

这就是用于编写的。对于阅读：

public Document[] ReadMultipleFields(string text, int maxResults, AnalyzerType type)
        {
            Analyzer analyzer = this.chineseAnalyzer;

            QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "text", analyzer);
            var query = parser.Parse(text);                        

            // Get the fields.
            TopFieldCollector collector = TopFieldCollector.create(
                new Sort(),
                maxResults,
                false,
                true,
                true,
                false);

            // Then use the searcher.            
            this.searcher.Search(
                query,
                null,
                collector);

            // Holds the results
            List<Document> documents = new List<Document>();

            // Get the top documents.
            foreach (var scoreDoc in collector.TopDocs().scoreDocs)
            {
                var doc = this.searcher.Doc(scoreDoc.doc);
                documents.Add(doc);
            }

            // Send the list of docs back.
            return documents.ToArray();
        }

chineseWriter 只是一个传入 CJKAnalyzer 的 IndexWriter，而 chineseAnalyzer 只是 CJKAnalyzer。

关于为什么日语不起作用有什么建议吗？我发送的输入似乎很公平：

puketto

是我将存储的内容，但无法读取它。 :(

编辑：我错了...中文也不起作用：如果搜索词长于 2 个字符，它就会停止工作。与日语相同。

编辑第 2 部分：我现在看到问题是使用前缀搜索。如果我搜索前 2 个字符并使用星号，那么一旦我超过 2 个字符，它就会停止工作，我想这是因为这种方式。如果我这个词被标记化了？搜索完整术语，然后它确实找到了。在 Lucene.NET 中是否可以使用 CJK 前缀搜索？ プ* 可以，但 プーケ* 找不到。

Answer 1

我使用 StandardTokenizer。至少对于日语和韩语文本，它能够标记包含 3 个字符或 4 个字符的单词。但唯一担心的是汉字。它确实对中文进行标记，但一次标记 1 个字符。