Spacy vs NLTK Word Tokenize基准测试

Question

[我的代码] [1]

导入nltk导入spacy nlp = spacy.load（“ en_core_web_sm”，disable = ['parser'，'ner'，'tok2vec'，'tagger'，'attribute_ruler' .max_length = 4532554

bigdata = open（“/users/users/harikaranharithas/downloads/data/data/en en.txt”，'r'） bigdata_r = bigdata.read（）

nw =％timeit -o nltk.tokenize.word_tokenize（bigdata_r [0：1000000]） 出局-1.35 s±139毫秒 /循环（平均±std。7次运行，每个循环1循环） SW =％TimeIt -o nlp（bigdata_r [0：1000000]） 出局-125 ms±3.72 ms每个循环（平均±标准dev。7次运行，每个循环1）

大数据是一个文本文件，由几个Wikipedia文章（2B单词）组成，

我的PC规格是： MacBook Pro（16英寸，2019年） 2,6 GHz 6核Intel Core i7 16 GB 2667 MHz DDR4 Intel UHD图形630 1536 MB（+4GB ra 5500）的

速度比NLTK快，我做错了什么。我在论文中读到，在单词令牌化中，Spacy在某种程度上禁食了8次，如何正确地基准spacy和nltk？

Answer 1

将文档传递到nlp可能不仅仅是执行令牌。

您可以尝试明确使用令牌器吗？

from spacy.lang.en import English
nlp = English()

# Create a Tokenizer with the default settings for English
# including punctuation rules and exceptions
tokenizer = nlp.tokenizer

tokenizer(BIGDATA_R[0:100000])