如何判断纯文本文件是用什么语言编写的？

Question

假设我们有一个文本文件，其内容为： “Je suis un beau homme ...”

另一个是： 第三个“我是一个勇敢的人”，

附有德语文本： “Guten morgen。Wie geht 的？”

我们如何编写一个函数来告诉我们：第一个文本中的文本有这样的概率 文件是英文的，第二个我们有法文等？

欢迎链接到书籍/开箱即用的解决方案。我用 Java 编写，但如果需要的话我可以学习 Python。

我的评论

1. 我需要添加一条小评论。文本可能包含不同语言的短语，作为整体的一部分或作为错误的结果。在经典文学中我们有很多这样的例子，因为贵族成员会说多种语言。因此概率更好地描述了情况，因为文本的大部分部分都是用一种语言编写的，而其他部分可能是用另一种语言编写的。
2. Google API - 互联网连接。我不想使用远程功能/服务，因为我需要自己做或使用可下载的库。我想对这个话题进行研究。

Answer 1

有一个名为 JLangDetect 的包，它似乎完全符合您的要求：

langof("un texte en français") = fr : OK
langof("a text in english") = en : OK
langof("un texto en español") = es : OK
langof("un texte un peu plus long en français") = fr : OK
langof("a text a little longer in english") = en : OK
langof("a little longer text in english") = en : OK
langof("un texto un poco mas largo en español") = es : OK
langof("J'aime les bisounours !") = fr : OK
langof("Bienvenue à Montmartre !") = fr : OK
langof("Welcome to London !") = en : OK
// ...

---

编辑：as Kevin指出，Nutch 项目 包 org.apache.nutch.analysis.lang。

Answer 2

Google 进行的语言检测：http://code.google.com/apis/ajaxlanguage/documentation /#检测

Answer 3

对于较大的文本语料库，您通常使用字母、二合字母甚至三字母的分布，并与要检测的语言的已知分布进行比较。

然而，单个句子很可能太短，无法产生任何有用的统计指标。那么，你可能会更幸运地将单个单词与字典相匹配。

Answer 4

NGramJ 似乎更新了一些：

http://ngramj.sourceforge.net/

它还具有面向字符和面向字节的配置文件，因此它也应该能够识别字符集。

对于多种语言的文档，您需要识别字符集（ICU4J 有一个 CharsetDetector 可以做到这一点），然后将文本拆分为某些内容如果文本已标记，则可以像多个换行符或段落一样合理。

Answer 5

尝试 Nutch 的 语言标识符。它使用语言的 n-gram 配置文件进行训练，并将可用语言的配置文件与输入文本进行匹配。有趣的是，如果需要，您可以添加更多语言。

Answer 6

查找马尔可夫链。

基本上，您将需要您想要识别的语言的具有统计意义的样本。当您获得新文件时，查看特定音节或音素的频率是多少，并与预先计算的样本进行比较。选择最接近的一个。

Answer 7

虽然这是一个比您想要的更复杂的解决方案，但您可以使用 Vowpal Wabbit 并使用不同语言的句子对其进行训练。

理论上，您可以为文档中的每个句子找回一种语言。

http://hunch.net/~vw/

（不要被“网上”所迷惑在项目的副标题中 - 这只是学习的数学语言，无需记住整个学习材料）

Answer 8

如果您对执行语言检测的机制感兴趣，我建议您参考以下文章（基于Python）使用了一种（非常）幼稚的方法，但很好地介绍了这个问题，特别是机器学习（只是一个大词）一般来说。

对于 java 实现，其他海报建议的 JLangDetect 和 Nutch 非常好。另请查看 Lingpipe，JTCL 和 NGramJ 。

---

对于同一页面中有多种语言的问题，您可以使用句子边界检测器将页面切成句子，然后尝试识别每个句子的语言。假设一个句子仅包含一种（主要）语言，则使用上述任何实现仍然应该获得良好的结果。

注意：句子边界检测器（SBD）理论上是特定于语言的（先有鸡还是先有蛋的问题，因为你需要一个来代替另一个）。但对于主要使用句点（感叹号等除外）进行句子定界的基于拉丁文字的语言（英语、法语、德语等），即使您使用专为英语设计的 SBD，您也会得到可接受的结果。我编写了一个基于规则的英语 SBD，它对于法语文本非常有效。有关实现，请查看 OpenNLP。

使用 SBD 的另一种选择是使用 10 个标记（空格分隔）的滑动窗口来创建一个伪句子 (PS)，并尝试识别语言发生变化的边界。这样做的缺点是，如果您的整个文档有 n 个标记，您将对每个长度为 10 个标记的字符串执行大约 n-10 次分类操作。在另一种方法中，如果平均句子有 10 个标记，您将执行大约 n/10 次分类操作。如果文档中 n = 1000 个单词，则您将比较 990 次操作与 100 次操作：一个数量级的差异。

---

根据我的经验，如果您有简短的短语（少于 20 个字符），语言检测的准确性很差。特别是在专有名词以及跨语言相同的名词（例如“巧克力”）的情况下。例如，如果“纽约”出现在法语句子中，它是英语单词还是法语单词？

Answer 9

您可以连接到互联网吗？如果可以，那么 Google Language API 将非常适合您。

// This example request includes an optional API key which you will need to
// remove or replace with your own key.
// Read more about why it's useful to have an API key.
// The request also includes the userip parameter which provides the end
// user's IP address. Doing so will help distinguish this legitimate
// server-side traffic from traffic which doesn't come from an end-user.
URL url = new URL(
    "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&"
    + "q=Paris%20Hilton&key=INSERT-YOUR-KEY&userip=USERS-IP-ADDRESS");
URLConnection connection = url.openConnection();
connection.addRequestProperty("Referer", /* Enter the URL of your site here */);

String line;
StringBuilder builder = new StringBuilder();
BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));
while((line = reader.readLine()) != null) {
 builder.append(line);
}

JSONObject json = new JSONObject(builder.toString());
// now have some fun with the results...

如果没有的话还有其他方法。

Answer 10

二元模型表现良好，编写简单，训练简单，并且只需要少量文本即可进行检测。 nutch 语言标识符是我们发现并与薄包装器一起使用的 java 实现。

我们在混合 CJK 和英语文本的二元模型方面遇到了问题（即推文主要是日语，但只有一个英语单词）。回顾数学，这一点是显而易见的（日语有更多的字符，因此任何给定对的概率都很低）。我认为你可以通过一些更复杂的对数线性比较来解决这个问题，但我作弊并使用了一个基于某些语言特有的字符集的简单过滤器（即，如果它只包含统一的汉文，那么它是中文，如果它包含一些日文假名统一汉文，那就是日文了）。