使用 Lucene 提取英语单词词干

Question

我正在 Java 应用程序中处理一些英文文本，我需要对它们进行词干处理。 例如，从文本“amenities/amenity”中我需要获取“amenit”。

该函数看起来像：

String stemTerm(String term){
   ...
}

我找到了 Lucene 分析器，但它看起来对于我的需要来说太复杂了。 http://lucene.apache.org/java /2_2_0/api/org/apache/lucene/analysis/PorterStemFilter.html

有没有办法使用它来词干而不构建分析器？我不了解所有分析器业务...

编辑：我实际上需要词干+词形还原。 Lucene可以做到这一点吗？

Answer 1

SnowballAnalyzer 已弃用，您可以使用 Lucene Porter Stemmer 代替：

 PorterStemmer stem = new PorterStemmer();
 stem.setCurrent(word);
 stem.stem();
 String result = stem.getCurrent();

希望有帮助！

Answer 2

import org.apache.lucene.analysis.PorterStemmer;
...
String stemTerm (String term) {
    PorterStemmer stemmer = new PorterStemmer();
    return stemmer.stem(term);
}

请参阅此处了解更多详情。如果您只想进行词干提取，那么您应该使用 this 而不是 Lucene。

编辑：在将term传递给stem()之前，您应该将其小写。

Answer 3

你为什么不使用“EnglishAnalyzer”？使用它很简单，我认为它可以解决您的问题：

EnglishAnalyzer en_an = new EnglishAnalyzer(Version.LUCENE_34);
QueryParser parser = new QueryParser(Version.LUCENE_34, "your_field", en_an);
String str = "amenities";
System.out.println("result: " + parser.parse(str)); //amenit

希望它可以帮助您！

Answer 4

前面的示例将词干应用于搜索查询，因此，如果您有兴趣对全文进行词干提取，可以尝试以下操作：

import java.io.*;
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.tokenattributes.*;
import org.apache.lucene.analysis.snowball.*;
import org.apache.lucene.util.*;
...
public class Stemmer{
    public static String Stem(String text, String language){
        StringBuffer result = new StringBuffer();
        if (text!=null && text.trim().length()>0){
            StringReader tReader = new StringReader(text);
            Analyzer analyzer = new SnowballAnalyzer(Version.LUCENE_35,language);
            TokenStream tStream = analyzer.tokenStream("contents", tReader);
            TermAttribute term = tStream.addAttribute(TermAttribute.class);

            try {
                while (tStream.incrementToken()){
                    result.append(term.term());
                    result.append(" ");
                }
            } catch (IOException ioe){
                System.out.println("Error: "+ioe.getMessage());
            }
        }

        // If, for some reason, the stemming did not happen, return the original text
        if (result.length()==0)
            result.append(text);
        return result.toString().trim();
    }

    public static void main (String[] args){
        Stemmer.Stem("Michele Bachmann amenities pressed her allegations that the former head of her Iowa presidential bid was bribed by the campaign of rival Ron Paul to endorse him, even as one of her own aides denied the charge.", "English");
    }
}

TermAttribute 类已被弃用，Lucene 4 中将不再支持，但文档并不清楚是什么在它的地方使用。

同样在第一个示例中，PorterStemmer 不作为类（隐藏）提供，因此您不能直接使用它。

希望这有帮助。

Answer 5

以下是在 JAVA 中使用 Snowball Stemmer 的方法：

import org.tartarus.snowball.ext.EnglishStemmer;

EnglishStemmer english = new EnglishStemmer();
String[] words = tokenizer("bank banker banking");
for(int i = 0; i < words.length; i++){
        english.setCurrent(words[i]);
        english.stem();
        System.out.println(english.getCurrent());
}

Answer 6

Ling pipeline 提供了许多分词器。它们可用于词干提取和停用词删除。这是一种简单而有效的词干提取方法。

Answer 7

由于PorterStemmer不是公开的，我们无法调用PorterStemmer的stem函数。

相反，我们可以使用 KStemmer/KStemFilter 将单词词干到其根单词。

下面是 scala 代码片段，它接受字符串并转换为词干字符串

import org.apache.lucene.analysis.core.WhitespaceTokenizer
导入 org.apache.lucene.analysis.en.KStemFilter

导入 java.io.StringReader

对象 Stemmer {
def 词干(输入:字符串):字符串={

val stemmed_string = new StringBuilder()

val inputReader = new StringReader(input.toLowerCase)

val whitespaceTokenizer = new WhitespaceTokenizer()
whitespaceTokenizer.setReader(inputReader)

val kStemmedTokenStream = new KStemFilter(whitespaceTokenizer)
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute

val charTermAttribute = kStemmedTokenStream.addAttribute(classOf[CharTermAttribute])

kStemmedTokenStream.reset
while (kStemmedTokenStream.incrementToken) {
  val term = charTermAttribute.toString
  stemmed_string.append(term+" ")
}
stemmed_string.toString().trim.toUpperCase

}

}