使用 nltk 标记 unicode

Question

我有使用 utf-8 编码的文本文件，其中包含“ö”、“ü”等字符。我想解析这些文件中的文本，但无法让分词器正常工作。如果我使用标准 nltk 分词器：

f = open('C:\Python26\text.txt', 'r') # text = 'müsli pöök rääk'
text = f.read()
f.close
items = text.decode('utf8')
a = nltk.word_tokenize(items)

---

输出：[u'\ufeff', u'm', u'\xfc', u'sli', u'p', u'\xf6', u'\xf6 ', u'k', u'r', u'\xe4', u'\xe4', u'k']

Punkt 分词器似乎做得更好：

f = open('C:\Python26\text.txt', 'r') # text = 'müsli pöök rääk'
text = f.read()
f.close
items = text.decode('utf8')
a = PunktWordTokenizer().tokenize(items)

---

输出： [u'\ufeffm\xfcsli', u'p\xf6\xf6k', u'r\xe4\xe4k']

在第一个标记之前仍然有 '\ufeff' 我不能弄清楚（并不是说我无法删除它）。我做错了什么？非常感谢帮助。

Answer 1

\uFEFF 字符更有可能是从文件读取的内容的一部分。我怀疑它是由标记器插入的。文件开头的 \uFEFF 是已弃用的 字节顺序标记。如果它出现在其他地方，则将其视为零宽度不间断空格。

该文件是用微软记事本写的吗？来自编解码器模块文档：

为了提高检测 UTF-8 编码的可靠性，Microsoft 为其记事本程序发明了 UTF-8 的变体（Python 2.5 称为“utf-8-sig”）： 在任何 Unicode 字符之前写入文件时，会写入 UTF-8 编码的 BOM（字节序列如下所示：0xef、0xbb、0xbf）。

尝试使用 codecs.open() 相反。请注意使用 BOM 的 "utf-8-sig" 编码。

import codecs
f = codecs.open('C:\Python26\text.txt', 'r', 'utf-8-sig')
text = f.read()
a = nltk.word_tokenize(text)

实验：

>>> open("x.txt", "r").read().decode("utf-8")
u'\ufeffm\xfcsli'
>>> import codecs
>>> codecs.open("x.txt", "r", "utf-8-sig").read()
u'm\xfcsli'
>>> 

Answer 2

您应该确保将 unicode 字符串传递给 nltk 分词器。我得到了以下与我端的两个标记器相同的字符串标记化：

import nltk
nltk.wordpunct_tokenize('müsli pöök rääk'.decode('utf8'))
# output : [u'm\xfcsli', u'p\xf6\xf6k', u'r\xe4\xe4k']

nltk.word_tokenize('müsli pöök rääk'.decode('utf8'))
# output: [u'm\xfcsli', u'p\xf6\xf6k', u'r\xe4\xe4k']

Answer 3

UFEE 代码是一个“ZERO WIDTH NO-BREAK SPACE”字符，re 模块不会将其视为空格，因此使用正则表达式的 PunktWordTokenizer()带有 unicode 和 dotall 标志的 r'\w+|[^\w\s]+' 将此字符识别为单词。如果您不想手动删除字符，可以使用以下标记生成器：

nltk.RegexpTokenizer(u'\w+|[^\w\s\ufeff]+')