将字符串分割成句子

Question

我编写了这段代码，用于分割字符串并将其存储在字符串数组中：-

String[] sSentence = sResult.split("[a-z]\\.\\s+");

但是，我添加了 [az] 因为我想处理一些缩写问题。但后来我的结果显示如下：-

此外，当埃弗里特试图指导他们基础数学时，他们没有反应

我发现我丢失了 split 函数中指定的模式。丢失句号对我来说没关系，但是丢失单词的最后一个字母会扰乱其含义。

有人可以帮助我解决这个问题吗？此外，有人可以帮助我处理缩写吗？例如，因为我根据句点分割字符串，所以我不想丢失缩写。

Answer 1

解析句子绝非易事，即使对于英语等拉丁语言也是如此。像您在问题中概述的那种幼稚的方法经常会失败，以至于在实践中证明它毫无用处。

更好的方法是使用 BreakIterator 配置了正确的区域设置。

BreakIterator iterator = BreakIterator.getSentenceInstance(Locale.US);
String source = "This is a test. This is a T.L.A. test. Now with a Dr. in it.";
iterator.setText(source);
int start = iterator.first();
for (int end = iterator.next();
    end != BreakIterator.DONE;
    start = end, end = iterator.next()) {
  System.out.println(source.substring(start,end));
}

产生以下结果：

1. 这是一个测试。
2. 这是 TLA 测试。
3. 现在里面有一个博士。

Answer 2

让正则表达式在所有情况下都起作用是很困难的，但是要解决眼前的问题，您可以使用后视：

String sResult = "This is a test. This is a T.L.A. test.";
String[] sSentence = sResult.split("(?<=[a-z])\\.\\s+");

结果：

This is a test
This is a T.L.A. test.

请注意，有些缩写不以大写字母结尾，例如 abbrev., Mr.,等等...还有一些句子不以句号结尾！

Answer 3

如果可以，请使用自然语言处理工具，例如 LingPipe 。有许多微妙之处很难使用正则表达式来捕捉，例如，(eg :-))、先生、缩写、 省略号 (...)，等等。

句子检测有一个非常容易遵循的教程 在 LingPipe 网站上。

Answer 4

回复晚了，但对于像我这样的未来访客来说，经过很长时间的搜索。
使用 OpenNlP 模型，这对我来说是最好的选择，它适用于这里的所有文本示例，包括 @nbz 在评论中提到的关键示例，

My friend, Mr. Jones, has a new dog. This is a test. This is a T.L.A. test. Now with a Dr. in it."

用行空格分隔：

My friend, Mr. Jones, has a new dog.
This is a test.
This is a T.L.A. test.
Now with a Dr. in it.

您需要 .jar要导入到您的项目中的库以及经过训练的模型 en-sent.bin。

这是一个教程，可以轻松地将您集成到快速高效的运行中：

https://www.tutorialkart.com/opennlp/sentence-detection-example-in-opennlp/

还有一个用于在 eclipse 中进行设置的：

https://www.tutorialkart.com/opennlp/how-to-setup-opennlp-java-project/

这就是代码的样子：

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
 
import com.fasterxml.jackson.databind.exc.InvalidFormatException;
 
import opennlp.tools.sentdetect.SentenceDetectorME;
import opennlp.tools.sentdetect.SentenceModel;
 
/**
* Sentence Detection Example in openNLP using Java
* @author tutorialkart
*/
public class SentenceDetectExample {
 
    public static void main(String[] args) {
        try {
            new SentenceDetectExample().sentenceDetect();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    /**
     * This method is used to detect sentences in a paragraph/string
     * @throws InvalidFormatException
     * @throws IOException
     */
    public void sentenceDetect() throws InvalidFormatException, IOException {
        String paragraph = "This is a statement. This is another statement. Now is an abstract word for time, that is always flying.";
 
        // refer to model file "en-sent,bin", available at link http://opennlp.sourceforge.net/models-1.5/
        InputStream is = new FileInputStream("en-sent.bin");
        SentenceModel model = new SentenceModel(is);
        
        // feed the model to SentenceDetectorME class
        SentenceDetectorME sdetector = new SentenceDetectorME(model);
        
        // detect sentences in the paragraph
        String sentences[] = sdetector.sentDetect(paragraph);
 
        // print the sentences detected, to console
        for(int i=0;i<sentences.length;i++){
            System.out.println(sentences[i]);
        }
        is.close();
    }
}

既然你实现了库，它也可以离线工作，这是一个很大的优点，因为 @Julien Silland 的正确答案说这不是一个直接的过程，并且让一个训练有素的模型为你做这件事是最好的选择。