快速 n 元语法计算

Question

我正在使用 NLTK 在语料库中搜索 n-gram，但在某些情况下需要很长时间。我注意到计算 n 元语法在其他软件包中并不是一个不常见的功能（显然 Haystack 有一些功能）。这是否意味着如果我放弃 NLTK，可能会有一种更快的方法在我的语料库中查找 n 元语法？如果是这样，我可以用什么来加快速度？

Answer 1

由于您没有指出是否需要单词级 n 元语法或字符级 n 元语法，因此我将假设前者，而不失一般性。

我还假设您从一个由字符串表示的标记列表开始。您可以轻松地做的是自己编写 n 元语法提取。

def ngrams(tokens, MIN_N, MAX_N):
    n_tokens = len(tokens)
    for i in xrange(n_tokens):
        for j in xrange(i+MIN_N, min(n_tokens, i+MAX_N)+1):
            yield tokens[i:j]

然后将 yield 替换为您想要对每个 n-gram 采取的实际操作（将其添加到 dict，将其存储在数据库中，等等）以摆脱发电机开销。

最后，如果确实不够快，请将上面的内容转换为 Cython 并编译。使用 defaultdict 而不是 yield 的示例：

def ngrams(tokens, int MIN_N, int MAX_N):
    cdef Py_ssize_t i, j, n_tokens

    count = defaultdict(int)

    join_spaces = " ".join

    n_tokens = len(tokens)
    for i in xrange(n_tokens):
        for j in xrange(i+MIN_N, min(n_tokens, i+MAX_N)+1):
            count[join_spaces(tokens[i:j])] += 1

    return count

Answer 2

您可能会发现使用 zip 和 splat (*) 运算符 这里：

def find_ngrams(input_list, n):
  return zip(*[input_list[i:] for i in range(n)])

Answer 3

对于字符级 n-gram，您可以使用以下函数

def ngrams(text, n):
    n-=1
    return [text[i-n:i+1] for i,char in enumerate(text)][n:] 

Answer 4

def generate_ngrams(words, ngram=2):
  return [words[i:i+ngram] for i in range(len(words)-ngram+1)]



sentence = "I really like python, it's pretty awesome."
words = sentence.split()
words

['I', 'really', 'like', 'python,', "it's", 'pretty', 'awesome.']


res = generate_ngrams(words, ngram=2)
res

[['I', 'really'],
 ['really', 'like'],
 ['like', 'python,'],
 ['python,', "it's"],
 ["it's", 'pretty'],
 ['pretty', 'awesome.']]


res = generate_ngrams(words, ngram=3)
res

[['I', 'really', 'like'],
 ['really', 'like', 'python,'],
 ['like', 'python,', "it's"],
 ['python,', "it's", 'pretty'],
 ["it's", 'pretty', 'awesome.']]


res = generate_ngrams(words, ngram=4)
res

[['I', 'really', 'like', 'python,'],
 ['really', 'like', 'python,', "it's"],
 ['like', 'python,', "it's", 'pretty'],
 ['python,', "it's", 'pretty', 'awesome.']]