具有 Python / PHP 预设名称列表的命名实体识别

Question

我正在尝试处理一个 CSV 文件，该文件的每一行都有一个文本字段，其中包含组织名称和该组织中个人的职位作为非结构化文本。该字段通常是一团乱七八糟的文本，如下所示：

Assoc. Research Professor  Dept. Psychology  Univ. California  Santa Barbara

我需要提取职位和组织名称。对于这个职位，我使用 preg_match 来匹配不同职业的一系列大约 60 种不同的正则表达式，我认为它效果很好（我的猜测是它捕获了大约 80%）。但是，我在获取组织名称时遇到了困难。我有一个包含大约 16,000 个组织名称的 MySQL 表，我可以对其执行简单的 preg_match，但由于常见的拼写错误和缩写，它只能捕获大约 30% 的组织。例如，我的数据库有

University of California Santa Barbara

但 CSV 文件可能有以下任一选项：

Univ Cal Santa Barbara
University Cal-Santa Barbara
University California-Santa Barbara
Cal University, Santa Barbara

我需要处理数十万条记录，并且我无法花时间来纠正当前未正确或费力处理的 70% 的记录为每个组织创建多个别名。我希望能够做的是捕捉细微的差异（例如小的拼写错误、连字符与空格以及常见缩写），并且如果仍然没有找到匹配项，则最好识别组织名称并创建新记录为了它。

• Python 或 PHP 中的哪些库或工具可以执行具有更广泛影响范围的相似性匹配？
• Python 中的 NLTK 会发现拼写错误吗？
• 是否可以使用 AlchemyAPI 来捕获拼写错误的组织？到目前为止，我只能使用它来捕获拼写正确的组织，
• 因为我正在将一个短字符串（组织名称）与一个较长的字符串（包括名称和无关信息）进行比较，那么使用PHP的similar_text是否有希望功能？

任何帮助或见解将不胜感激。

Answer 1

这属于模糊逻辑的范畴。看看这些是否有任何帮助：

http://www .phpclasses.org/blog/post/119-Neural-Networks-in-PHP.html

http://ann.thwien.de/index.php/安装

Answer 2

您可以使用 difflib 来计算相似度CSV 输入和规范拼写之间的差异，如果高于某个阈值（例如 0.65），则将其视为匹配。

例如：

import difflib

exact = 'University of California Santa Barbara'

inputs = ['Univ Cal Santa Barbara',
          'University Cal-Santa Barbara',
          'University California-Santa Barbara',
          'Cal University, Santa Barbara',
          'Canterbury University']

sm = difflib.SequenceMatcher(None, exact)
ratios = []
for input in inputs:
    sm.set_seq2(input)
    ratios.append(sm.ratio())

print ratios

给出：

[0.73333333333333328, 0.81818181818181823, 0.93150684931506844,
 0.71641791044776115, 0.33898305084745761]

请注意“坎特伯雷大学”的匹配率（）比您给出的输入低得多。

不过，SequenceMatcher.ratio() 在计算 16,000 个值时可能会太慢。