通过 lucene 使用预标记化文本

Question

我的数据已经使用外部资源标记化，我想在 lucene 中使用该数据。我的第一个想法是使用 \x01 连接这些字符串，并使用 WhiteSpaceTokenizer 再次拆分它们。有更好的主意吗？ （输入是 XML 格式）

作为奖励，这个带注释的数据还包含同义词，我将如何注入它们（表示为 XML 标签）。

Answer 1

Lucene 允许您向字段提供自己的令牌流，绕过令牌化步骤。为此，您可以创建自己的 TokenStream 子类，实现incrementToken()，然后调用 field.setTokenStream(new MyTokenStream(yourTokens))：

public class MyTokenStream extends TokenStream {
    CharTermAttribute charTermAtt;
    OffsetAttribute offsetAtt;

    final Iterator<MyToken> listOfTokens;

    MyTokenStream(Iterator<MyToken> tokenList) {
        listOfTokens = tokenList;
        charTermAtt = addAttribute(CharTermAttribute.class);
        offsetAtt = addAttribute(OffsetAttribute.class);

    }

    @Override
    public boolean incrementToken() throws IOException {
        if(listOfTokens.hasNext()) {
            super.clearAttributes();
            MyToken myToken = listOfTokens.next();
            charTermAtt.setLength(0);
            charTermAtt.append(myToken.getText());
            offsetAtt.setOffset(myToken.begin(), myToken.end());
            return true;
        }
        return false;
    }
}

Answer 2

WhitespaceTokenizer 不适合使用 0x01 连接的字符串。相反，派生自 < code>CharTokenizer，覆盖 isTokenChar。

这种方法的主要问题是加入然后再次分裂可能会很昂贵；如果它变得太昂贵，您可以实现一个简单的 TokenStream ，它只从其输入中发出令牌。

如果通过同义词您的意思是“程序员”之类的术语扩展为一组术语，例如{“程序员”，“开发人员”，“黑客”}，那么我建议在同一位置发出这些术语。您可以使用 PositionIncrementAttribute 来控制它。

有关 PositionIncrementAttribute 用法的示例，请参阅 我的词形还原 TokenStream 它发出全文中找到的单词形式及其同一位置的引理。