Lucene.NET：驼峰式分词器？

Question

我今天开始使用 Lucene.NET，并编写了一个简单的测试方法来对源代码文件进行索引和搜索。问题在于标准分析器/标记器将整个驼峰式源代码标识符名称视为单个标记。

我正在寻找一种方法将驼峰式标识符（例如 MaxWidth）处理为三个标记：maxwidth、max 和 width。我一直在寻找这样的标记器，但找不到。在写我自己的文章之前：这个方向有什么东西吗？或者有比从头开始编写分词器更好的方法吗？

更新：最后我决定亲自动手，自己编写了一个 CamelCaseTokenFilter 。我将在我的博客上写一篇关于它的文章，并更新问题。

Answer 1

Solr 有一个 WordDelimiterFactory ，它会生成与您需要的类似的标记生成器。也许你可以将源代码翻译成C#。

Answer 2

下面的链接可能有助于编写自定义标记生成器...

http://karticles.com/NoSql/lucene_custom_tokenizer.html

Answer 3

这是我的实现：

package corp.sap.research.indexing;

import java.io.IOException;

import org.apache.lucene.analysis.TokenFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;

public class CamelCaseFilter extends TokenFilter {

    private final CharTermAttribute _termAtt;

    protected CamelCaseScoreFilter(TokenStream input) {
        super(input);
        this._termAtt = addAttribute(CharTermAttribute.class);
    }

    @Override
    public boolean incrementToken() throws IOException {
        if (!input.incrementToken())
            return false;
        CharTermAttribute a = this.getAttribute(CharTermAttribute.class);
        String spliettedString = splitCamelCase(a.toString());
        _termAtt.setEmpty();
        _termAtt.append(spliettedString);
        return true;

    }


    static String splitCamelCase(String s) {
           return s.replaceAll(
              String.format("%s|%s|%s",
                 "(?<=[A-Z])(?=[A-Z][a-z])",
                 "(?<=[^A-Z])(?=[A-Z])",
                 "(?<=[A-Za-z])(?=[^A-Za-z])"
              ),
              " "
           );
        }
}