对于Java，有一个分词器完全符合我想要的吗？

Question

我想标记文本，但不仅仅用空格分隔。

有些东西，比如专有名称，我只想设置一个标记（例如：“Renato Dinhani Conceição”）。另一种情况：百分比（“60％”）并且不分为两个标记。

我想知道是否有某个库中的 Tokenizator 可以提供高度定制化？如果没有，我会尝试编写自己的，如果有一些接口或实践可以遵循。

并非所有事情都需要得到普遍认可。示例：我不需要识别中文字母。

我的申请是大学申请，主要针对葡萄牙语。只有一些内容，例如名称、地点和类似内容会来自其他语言。

Answer 1

我会尝试不从代币化的角度，而是从规则的角度来解决这个问题。这将是最大的挑战 - 创建一个全面的规则集来满足您的大多数情况。

• 用人类的术语定义什么是不应根据空格分割的单位。名称示例就是其中之一。
• 对于空白分割的每一个例外，创建一组规则来识别它。对于名称示例：2 个或多个连续的大写单词，中间有或没有语言特定的非大写名称单词（例如“de”）。
• 将每个规则实现为其自己的类，可以在循环时调用该类。
• 根据空格分割整个字符串，然后循环它，跟踪之前出现的标记和当前出现的标记，为每个标记应用规则类。

规则 isName 示例：

• 循环 1：（例如： isName = false
• 循环 2："Renato isName = true
• 循环 3：Dihani isName = true
• 循环 4：Conceição"). isName = true
• 循环 5：Another isName = false

留给您：（例如：， “Renato Dinhani Conceição”）。，另一个

Answer 2

我认为分词器对于你想要的东西来说太简单了。分词器的一个升级是像 JFlex 这样的词法分析器。这些将把字符流分割成单独的标记，就像标记器一样，但具有更灵活的规则。

即便如此，您似乎仍需要某种自然语言处理，因为教词法分析器区分专有名称和普通单词之间的区别可能很棘手。通过教它一串以大写字母开头的单词都属于一起，数字后面可以跟单位等等，你也许可以走得很远。祝你好运。

Answer 3

您应该尝试 Apache OpenNLP。它包括可供使用的葡萄牙语句子检测器和分词器模型。

下载 Apache OpenNLP 并解压。将葡萄牙语模型复制到 OpenNLP 文件夹。从 http://opennlp.sourceforge.net/models-1.5/ 下载模型

从命令行使用它：

bin/opennlp TokenizerME pt-ten.bin 
Loading Tokenizer model ... done (0,156s)
O José da Silva chegou, está na sua sala.
O José da Silva chegou , está na sua sala .

使用 API：

// load the model
InputStream modelIn = new FileInputStream("pt-token.bin");

try {
  TokenizerModel model = new TokenizerModel(modelIn);
}
catch (IOException e) {
  e.printStackTrace();
}
finally {
  if (modelIn != null) {
    try {
      modelIn.close();
    }
    catch (IOException e) {
    }
  }
}

// load the tokenizer
Tokenizer tokenizer = new TokenizerME(model);

// tokenize your sentence
String tokens[] = tokenizer.tokenize("O José da Silva chegou, está na sua sala.");

Answer 4

StringTokenizer 是一个遗留类，仅为了向后兼容而维护。在新代码中不鼓励使用它。

您应该使用 String.split() 函数。 split 函数采用正则表达式作为参数。此外，您可以使用 Pattern 和 Matcher 类来增强它。您可以编译您的模式对象，然后使用它来匹配各种场景。