python3.x 中的标记化

Question

我在 python2.x 中有以下代码：

class _CHAIN(object):

    def __init__(self, execution_context=None):
        self.execution_context = execution_context

    def eat(self, toktype, tokval, rowcol, line, logical_line):        
        #some code and error checking


operations = _CHAIN(execution_context)

tokenize(StringIO(somevalue).readline, operations.eat)

现在的问题是在 python3.x 中第二个参数不存在。我需要在标记化之前调用函数 Operations.eat() 。我们如何在python3.x中执行上述任务。一个想法是在“tokenize”语句（代码的最后一行）之前直接调用函数 tokenize.eat() 。但我不确定要通过的论点。我确信一定有更好的方法来做到这一点。

Answer 1

您使用的是一个稍微奇怪的遗留系统，您向函数传递一个可迭代的函数以及一个可以接受令牌的可调用函数。新方法在概念上更简单，并且适用于 Python 2 和 3：

from tokenize import generate_tokens
for token in generate_tokens(StringIO(somevalue).readline):
    eat(token)

这在技术上没有针对 Python 3 的文档记录，但不太可能被取消。 Python 3 中的官方 tokenize 函数需要字节，而不是字符串。有请求使用官方API来标记字符串，但它似乎已经停滞了。

Answer 2

根据 http://docs.python.org/py3k/library/tokenize.html，您现在应该使用tokenize.tokenize(readline)：

import tokenize
import io

class _CHAIN(object):

    def __init__(self, execution_context=None):
        self.execution_context = execution_context

    def eat(self, toktype, tokval, rowcol, line, logical_line):        
        #some code and error checking
        print(toktype, tokval, rowcol, line, logical_line)


operations = _CHAIN(None)

readline = io.StringIO('aaaa').readline

#Python 2 way:
#tokenize.tokenize(readline, operations.eat)

#Python 3 way:
for token in tokenize.generate_tokens(readline):
    operations.eat(token[0], token[1], token[2], token[3], token[4])

Answer 3

from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
import string
import pymorphy2
import re
import nltk
nltk.download('punkt')

reg =  re.compile('[^а-яА-Я ]')
morph = pymorphy2.MorphAnalyzer()
stop_words = stopwords.words('russian')

def sentence(words):
    words = reg.sub('', words)
    words = word_tokenize(words, language = 'russian')
    tokens = [i for i in words if (i not in string.punctuation)]  
    tokens = [i for i in tokens if (i not in stop_words)]
    tokens = [morph.parse(word)[0].normal_form for word in tokens]
    tokens = [i for i in tokens if (i not in stop_words)]
    
    return tokens

df['text']=df['text'].apply(str)    
df['text'] = df['text'].apply(lambda x: sentence(x))
df['text'] = df['text'].apply(lambda x: " ".join(x))