如何确定句子中单词的正确大小写？

Question

我有一个数据库，其中包含仅包含大写字母的句子。该数据库是技术性的，包含医学术语，我想对其进行规范化，以便大写字母（接近）用户的期望。实现这一目标的最佳方法是什么？是否有免费的数据集可以帮助我完成此过程？

Answer 1

一种方法可能是从词性标记推断大写，例如使用 Python 自然语言工具包 (NLTK)：

import nltk
import re


def truecase(text, only_proper_nouns=False):
    truecased_sents = []  # List of true-cased sentences.
    # Apply POS-tagging.
    tagged_sent = nltk.pos_tag([
        word.lower() for word in nltk.word_tokenize(text)
    ])
    # Infer capitalization from POS-tags.
    capitalize_tags = (
        {"NNP", "NNPS"} if only_proper_nouns else
        {"NN", "NNS"}
    )
    normalized_sent = [
        word.capitalize() if tag in capitalize_tags else word
        for (word, tag) in tagged_sent
    ]
    # Capitalize first word in sentence.
    normalized_sent[0] = normalized_sent[0].capitalize()
    # Use regular expression to get punctuation right.
    pretty_string = re.sub(
        " (?=[\\.,'!?:;])",
        "",
        " ".join(normalized_sent)
    )
    return pretty_string

这并不完美，特别是因为我不知道您的数据到底是什么样子，但也许您可以获得主意：

>>> text = "Clonazepam Has Been Approved As An Anticonvulsant To Be Manufactured In 0.5mg, 1mg And 2mg Tablets. It Is The Generic Equivalent Of Roche Laboratories' Klonopin."
>>> truecase(text)
"Clonazepam has been approved as an anticonvulsant to be manufactured in 0.5mg, 1mg and 2mg Tablets. It is the generic Equivalent of Roche Laboratories' Klonopin."

Answer 2

搜索有关 truecasing 的工作：http://en.wikipedia.org/wiki/Truecasing

如果您可以访问具有正常大小写的类似医疗数据，那么生成您自己的数据集真的很容易。将所有内容大写并使用到原始文本的映射来训练/测试您的算法。

Answer 3

最简单的方法是使用基于 ngram 的拼写纠正算法。

例如，您可以使用 LingPipe SpellChecker。您可以找到用于预测单词中空格的源代码，类似于预测大小写的方法。