如何检测语言

Question

是否有任何好的开源引擎可以通过概率度量来检测文本所使用的语言？我可以在本地运行并且不查询 Google 或 Bing 的一个吗？我想检测大约 1500 万页 OCR 文本中每一页的语言。

并非所有文档都包含使用拉丁字母的语言。

Answer 1

根据您正在做的事情，您可能需要查看 python 自然语言处理工具包 (NLTK)，它对贝叶斯学习算法有一些支持。

一般来说，字母和词频可能是最快的评估，但如果您需要做除语言识别之外的任何事情，NLTK（或一般的贝叶斯学习算法）可能会很有用。如果您发现前两种方法的错误率太高，贝叶斯方法可能也会有用。

Answer 2

您当然可以构建自己的，给出一些关于的统计数据 ="http://en.wikipedia.org/wiki/Letter_frequency#Relative_frequency_of_letters_in_other_languages" rel="noreferrer">字母频率，二合字母频率等。

然后将其作为开源发布。 瞧，您有一个用于检测文本语言的开源引擎！

Answer 3

为了将来的参考，我最终使用的引擎是 libtextcat，它是在 BSD 许可下的，但似乎自 2003 年以来就没有维护过。不过，它做得很好，并且可以轻松集成到我的工具链中

Answer 4

尝试 CLD2：

安装

export CPPFLAGS="-std=c++98"  # https://github.com/CLD2Owners/cld2/issues/47
pip install cld2-cffi --user

运行

import cld2

res = cld2.detect("This is a sample text.")
print(res)
res = cld2.detect("Dies ist ein Beispieltext.")
print(res)
res = cld2.detect("Je ne peut pas parler cette language.")
print(res)
res = cld2.detect(" هذه هي بعض النصوص العربية")
print(res)
res = cld2.detect("这是一些阿拉伯文字")  # Chinese?
print(res)
res = cld2.detect("これは、いくつかのアラビア語のテキストです")
print(res)
print("Supports {} languages.".format(len(cld2.LANGUAGES)))

提供了

Detections(is_reliable=True, bytes_found=23, details=(Detection(language_name=u'ENGLISH', language_code=u'en', percent=95, score=1675.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Detections(is_reliable=True, bytes_found=27, details=(Detection(language_name=u'GERMAN', language_code=u'de', percent=96, score=1496.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Detections(is_reliable=True, bytes_found=38, details=(Detection(language_name=u'FRENCH', language_code=u'fr', percent=97, score=1134.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Detections(is_reliable=True, bytes_found=48, details=(Detection(language_name=u'ARABIC', language_code=u'ar', percent=97, score=1263.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Detections(is_reliable=False, bytes_found=29, details=(Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Detections(is_reliable=True, bytes_found=63, details=(Detection(language_name=u'Japanese', language_code=u'ja', percent=98, score=3848.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0), Detection(language_name=u'Unknown', language_code=u'un', percent=0, score=0.0)))
Supports 282 languages.

为其他人

• https://detectlanguage.com/ - 围绕 CLD2 的服务

Answer 5

我认为您不需要任何非常复杂的东西 - 例如，要检测文档是否是英语，具有相当高的确定性，只需测试它是否包含 N 个最常见的英语单词 - 类似于：

"the a an is to are in on in it"

如果它包含所有那些，我想说它几乎肯定是英语。

Answer 6

您也可以尝试 Ruby 的 WhatLanguage gem，它很好且简单，我已用于 Twitter 数据分析。查看：http://www. youtube.com/watch?v=lNqZ2cqOReo&list=UUJ_3fstMOH-g4yBxtvgAWkw&index=0&feature=plcp 快速演示

Answer 7

查看 Github 上的 Franc。它是用 JavaScript 编写的，因此您可以在浏览器中使用，也可以在 Node 中使用。

• franc 支持的语言比任何其他库或 Google 都多；
• franc 很容易分叉以支持 335 种语言；法郎就如
• 与竞争对手一样快。