如何使用 Lucene 分析器来标记字符串？

Question

有没有一种简单的方法可以使用 Lucene 的 Analyzer 的任何子类来解析/标记 String？

像这样的东西：

String to_be_parsed = "car window seven";
Analyzer analyzer = new StandardAnalyzer(...);
List<String> tokenized_string = analyzer.analyze(to_be_parsed);

Answer 1

根据上面的答案，稍加修改即可与 Lucene 4.0 一起使用。

public final class LuceneUtil {

  private LuceneUtil() {}

  public static List<String> tokenizeString(Analyzer analyzer, String string) {
    List<String> result = new ArrayList<String>();
    try {
      TokenStream stream  = analyzer.tokenStream(null, new StringReader(string));
      stream.reset();
      while (stream.incrementToken()) {
        result.add(stream.getAttribute(CharTermAttribute.class).toString());
      }
    } catch (IOException e) {
      // not thrown b/c we're using a string reader...
      throw new RuntimeException(e);
    }
    return result;
  }

}

Answer 2

据我所知，你必须自己编写循环。像这样的东西（直接取自我的源代码树）：

public final class LuceneUtils {

    public static List<String> parseKeywords(Analyzer analyzer, String field, String keywords) {

        List<String> result = new ArrayList<String>();
        TokenStream stream  = analyzer.tokenStream(field, new StringReader(keywords));

        try {
            while(stream.incrementToken()) {
                result.add(stream.getAttribute(TermAttribute.class).term());
            }
        }
        catch(IOException e) {
            // not thrown b/c we're using a string reader...
        }

        return result;
    }  
}

Answer 3

正如 另一个 Stack Overflow 答案 所示，最新的最佳实践似乎是向令牌流添加一个属性，然后访问该属性，而不是直接从令牌流中获取属性。为了更好地测量，您可以确保分析仪关闭。使用最新的 Lucene（当前为 v8.6.2），代码将如下所示：

String text = "foo bar";
String fieldName = "myField";
List<String> tokens = new ArrayList();
try (Analyzer analyzer = new StandardAnalyzer()) {
  try (final TokenStream tokenStream = analyzer.tokenStream(fieldName, text)) {
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    tokenStream.reset();
    while(tokenStream.incrementToken()) {
      tokens.add(charTermAttribute.toString());
    }
    tokenStream.end();
  }
}

代码完成后，tokens 将包含已解析令牌的列表。

另请参阅： Lucene分析概述。

警告：我刚刚开始编写 Lucene 代码，所以我没有很多 Lucene 经验。不过，我花时间研究了最新的文档和相关帖子，并且我相信我放在这里的代码遵循最新推荐的做法，比当前的答案稍好一些。

Answer 4

使用 try-with-resources 效果会更好！这样您就不必显式调用更高版本的库中所需的 .close() 。

public static List<String> tokenizeString(Analyzer analyzer, String string) {
  List<String> tokens = new ArrayList<>();
  try (TokenStream tokenStream  = analyzer.tokenStream(null, new StringReader(string))) {
    tokenStream.reset();  // required
    while (tokenStream.incrementToken()) {
      tokens.add(tokenStream.getAttribute(CharTermAttribute.class).toString());
    }
  } catch (IOException e) {
    new RuntimeException(e);  // Shouldn't happen...
  }
  return tokens;
}

以及分词器版本：

  try (Tokenizer standardTokenizer = new HMMChineseTokenizer()) {
    standardTokenizer.setReader(new StringReader("我说汉语说得很好"));
    standardTokenizer.reset();
    while(standardTokenizer.incrementToken()) {
      standardTokenizer.getAttribute(CharTermAttribute.class).toString());
    }
  } catch (IOException e) {
      new RuntimeException(e);  // Shouldn't happen...
  }