构建词性标注器（POS 标注器）

Question

我需要用 Java 构建一个 POS 标注器，并且需要知道如何开始。是否有代码示例或其他资源可以帮助说明词性标注器的工作原理？

Answer 1

尝试 Apache OpenNLP。它包括 POS Tagger 工具。您可以从此处下载即用型英文模型。

该文档提供了有关如何从 Java 应用程序使用它的详细信息。基本上，您需要以下内容：

加载 POS 模型

InputStream modelIn = null;

try {
  modelIn = new FileInputStream("en-pos-maxent.bin");
  POSModel model = new POSModel(modelIn);
}
catch (IOException e) {
  // Model loading failed, handle the error
  e.printStackTrace();
}
finally {
  if (modelIn != null) {
    try {
      modelIn.close();
    }
    catch (IOException e) {
    }
  }
}

实例化 POS 标记器

POSTaggerME tagger = new POSTaggerME(model);

执行它

String sent[] = new String[]{"Most", "large", "cities", "in", "the", "US", "had", "morning", "and", "afternoon", "newspapers", "."};          
String tags[] = tagger.tag(sent);

请注意，POS 标记器需要一个标记化的句子。 Apache OpenNLP 还提供了工具和模型来帮助完成这些任务。

如果您必须训练自己的模型，请参阅此 文档。

Answer 2

您可以检查现有的标记器实现。

例如，请参考 Java 中的斯坦福大学 POS 标记器（由 Kristina Toutanova 编写），它可在 GNU 通用公共许可证（v2 或更高版本）下使用，源代码编写良好且记录清晰：

http://nlp.stanford.edu/software/tagger.shtml

关于标记的好书是：
语音和语言处理（第二版）作者：Daniel Jurafsky、James H. Martin

Answer 3

有一些广泛使用的 POS/NER 标注器。

OpenNLP Maxent POS 标注器：使用 Apache OpenNLP。

Open NLP 是 Apache 提供的功能强大的 java NLP 库。它为 NLP 提供了各种工具，其中之一是词性（POS）标记器。通常 POS 标记器用于找出文本中的语法结构，您使用标记数据集，其中每个单词（短语的一部分）都标有标签，您可以根据该数据集构建 NLP 模型，然后对于新文本，您可以使用模型为文本中的每个单词生成标签。

示例代码：

public void doTagging(POSModel model, String input) {
    input = input.trim();
    POSTaggerME tagger = new POSTaggerME(model);
    Sequence[] sequences = tagger.topKSequences(input.split(" "));
    for (Sequence s : sequences) {
        List<String> tags = s.getOutcomes();
        System.out.println(Arrays.asList(input.split(" ")) +" =>" + tags);
    }
}

详细博客，其中包含有关如何使用它的完整代码：

https://dataturks.com/blog/opennlp-pos-tagger-training-java-example.php?s=so

基于斯坦福 CoreNLP 的 NER tagger：

斯坦福核心 NLP 是迄今为止经过最久经考验的 NLP 库。在某种程度上，它是当今 NLP 性能的黄金标准。在各种其他功能中，库支持命名实体识别（NER），这允许标记一段文本中的重要实体，例如人名、地点等。

示例代码：

public void doTagging(CRFClassifier model, String input) {
  input = input.trim();
  System.out.println(input + "=>"  +  model.classifyToString(input));
}  

详细博客包含有关如何使用它的完整代码：

https://dataturks.com/blog/stanford-core-nlp-ner-training-java-example.php?s=so