将 OpenNLP 用于多个文本时加快其 POSTaging 速度

Question

我目前正在开发一个关键短语提取工具，该工具应该为网站上的文本或文档提供标签建议。正如我遵循本文提出的方法： 使用神经网络提取关键短语的新方法 我使用 OpenNLP 工具包的 POSTagger 进行第一步，即候选选择。

一般来说，关键词提取效果很好。我的问题是，每次我想使用 POSTagger 时，我都必须从相应的文件中执行模型的昂贵加载：

posTagger = new POSTaggerME(new POSModel(new FileInputStream(new File(modelDir + "/en-pos-maxent.bin"))));
tokenizer = new TokenizerME(new TokenizerModel(new FileInputStream(new File(modelDir + "/en-token.bin"))));
// ...
String[] tokens = tokenizer.tokenize(text);
String[] tags = posTagger.tag(tokens);

这是因为该代码不在网络服务器本身的范围内，而是在“处理程序”内” 其生命周期仅包含处理一个特定请求。我的问题是：如何实现仅加载文件一次？（我不想花 10 秒等待模型加载并在之后仅使用 200 毫秒。）

我的第一个想法是序列化POSTaggerME（分别是TokenizerME）并在每次需要时使用Java的内置机制反序列化它。不幸的是，这不起作用——它会引发异常。 （我确实序列化了 WEKA 工具包中的分类器，该工具包最后对我的候选者进行了分类，以便不必每次都构建（或训练）分类器。因此我认为这也可能适用于 POSTaggeME。不幸的是，这是情况并非如此。）

对于 Tokenizer，我可以参考一个简单的 WhitespaceTokenizer，这是一个较差的解决方案，但一点也不糟糕：

tokenizer = WhitespaceTokenizer.INSTANCE;

但我没有看到这个选项是可靠的 POSTagger。

Answer 1

只需将您的标记化/POS 标记管道包装在单例中即可。

如果底层 OpenNLP 代码不是线程安全的，请将调用放在同步块中，例如：

// the singletons tokenization/POS-tagging pipeline 
String[] tokens;
synchronized(tokenizer) { 
   tokens = tokenizer.tokenize(text);
}
String[] tags;
synchronized(posTagger) { 
   tags = posTagger.tag(tokens);
}