什么是正确的标记化算法？ &错误：类型错误：强制转换为 Unicode：需要字符串或缓冲区，已找到列表

Question

我正在做一项信息检索任务。作为我想做的预处理的一部分。

1. 停用词删除 分
2. 词词干
3. 分析 (Porter Stemmer)

最初，我跳过了分词词干分析。结果我得到了这样的术语：

broker
broker'
broker,
broker.
broker/deal
broker/dealer'
broker/dealer,
broker/dealer.
broker/dealer;
broker/dealers),
broker/dealers,
broker/dealers.
brokerag
brokerage,
broker-deal
broker-dealer,
broker-dealers,
broker-dealers.
brokered.
brokers,
brokers.

所以，现在我意识到了标记化的重要性。英语有没有标准的标记化算法？基于string.whitespace和常用的标点符号。我写道

def Tokenize(text):
    words = text.split(['.',',', '?', '!', ':', ';', '-','_', '(', ')', '[', ']', '\'', '`', '"', '/',' ','\t','\n','\x0b','\x0c','\r'])    
    return [word.strip() for word in words if word.strip() != '']

1. 我收到 TypeError: coercing to Unicode: need string or buffer, list found 错误！
2. 如何改进这个标记化例程？

Answer 1

尽管您的算法可能足以满足信息检索的目的，但没有一种完美的标记化算法。使用正则表达式会更容易实现：

def Tokenize(text):
    words = re.split(r'[-\.,?!:;_()\[\]\'`"/\t\n\r \x0b\x0c]+', text)
    return [word.strip() for word in words if word.strip() != '']

它可以通过多种方式进行改进，例如正确处理缩写：

>>> Tokenize('U.S.')
['U', 'S']

并注意您对破折号（-）的操作。请考虑：

>>> Tokenize('A-level')
['A', 'level']

如果 'A' 或 'a' 出现在您的停用词列表中，则这将降低到仅级别。

我建议您查看使用 Python 进行自然语言处理 ，第 3 章，以及 NLTK 工具包。

Answer 2

正如 larsman 提到的，ntlk 有多种不同的标记器，可以接受各种选项。使用默认值：

>>> import nltk
>>> words = nltk.wordpunct_tokenize('''
... broker
... broker'
... broker,
... broker.
... broker/deal
... broker/dealer'
... broker/dealer,
... broker/dealer.
... broker/dealer;
... broker/dealers),
... broker/dealers,
... broker/dealers.
... brokerag
... brokerage,
... broker-deal
... broker-dealer,
... broker-dealers,
... broker-dealers.
... brokered.
... brokers,
... brokers.
... ''')
['broker', 'broker', "'", 'broker', ',', 'broker', '.', 'broker', '/', 'deal',       'broker', '/', 'dealer', "'", 'broker', '/', 'dealer', ',', 'broker', '/', 'dealer', '.', 'broker', '/', 'dealer', ';', 'broker', '/', 'dealers', '),', 'broker', '/', 'dealers', ',', 'broker', '/', 'dealers', '.', 'brokerag', 'brokerage', ',', 'broker', '-', 'deal', 'broker', '-', 'dealer', ',', 'broker', '-', 'dealers', ',', 'broker', '-', 'dealers', '.', 'brokered', '.', 'brokers', ',', 'brokers', '.']

如果您想过滤掉仅包含标点符号的列表项，您可以执行以下操作

>>> filter_chars = "',.;()-/"
>>> def is_only_punctuation(s):
        '''
        returns bool(set(s) is not a subset of set(filter_chars))
        '''
        return not set(list(i)) < set(list(filter_chars))
>>> filter(is_only_punctuation, words)

：

>>> ['broker', 'broker', 'broker', 'broker', 'broker', 'deal', 'broker', 'dealer', 'broker', 'dealer', 'broker', 'dealer', 'broker', 'dealer', 'broker', 'dealers', 'broker', 'dealers', 'broker', 'dealers', 'brokerag', 'brokerage', 'broker', 'deal', 'broker', 'dealer', 'broker', 'dealers', 'broker', 'dealers', 'brokered', 'brokers', 'brokers']