“令牌”列表在Lucene 3上

Question

我是 Lucene 的新手，我开始学习版本 3 分支，但有一件事我不明白（显然是因为我在该主题上没有经验）。

在 Lucene 2.9 中，如果我想要一个令牌列表，我会创建一个 Token 类的 ArrayList，例如 ArrayList。这对我来说非常直观，而且代币的概念也非常清晰。

既然不鼓励使用 Token 类，而转而使用基于属性的 API，我是否必须创建自己的类来封装我想要的属性？如果是的话，那不是几乎重新创建了 Lucene 的 Token 类吗？

我正在上一堂课来测试分析器，我想，拥有一个结果标记列表可以更容易测试。

任何帮助将不胜感激；） 谢谢你！

Answer 1

根据 Token Javadoc ,
“尽管不再需要使用 Token，但通过新的 TokenStream API，它可以用作实现所有属性的便利类，这对于轻松从旧的 TokenStream API 切换到新的 TokenStream API 特别有用。”

我建议你继续使用Token。与上面的描述相符。

Answer 2

使用 TermAttribute 类：

TokenStream stream = analyzer.tokenStream("field", "text");
TermAttribute termAttr = stream.getAttribute(TermAttribute.class);
while (stream.incrementToken()) {
    String token = termAttr.term();
}

Answer 3

我认为你可以这样做：


TokenStream tkst =analyzer.tokenStream("字段", "文本");
Token token = tkst.getAttribute(Token.class);
while (tkst.incrementToken()) {
// 用令牌做一些事情。
}


正确的文档位于分析包中： http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html