TorchText Vocab TypeError：Vocab.__init__() 得到了意外的关键字参数“min_freq”；

Question

我正在研究 CNN 情感分析机器学习模型，该模型使用 Torchtext 库提供的 IMDb 数据集。 在我的一行代码中

vocab = Vocab(counter, min_freq = 1,specials=('\', '\', '\;', '\'))

尽管我确信 min_freq 参数是可接受的参数之一，但我收到了 TypeError 功能。我还收到 UserWarning Pickle 不支持 Lambda 函数，请使用常规 python 函数或 functools 部分代替。完整代码

from torchtext.datasets import IMDB
from collections import Counter
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import Vocab
tokenizer = get_tokenizer('basic_english')  
train_iter = IMDB(split='train')
test_iter = IMDB(split='test')
counter = Counter()
for (label, line) in train_iter:
    counter.update(tokenizer(line))
vocab = Vocab(counter, min_freq = 1, specials=('\<unk\>', '\<BOS\>', '\<EOS\>', '\<PAD\>'))

源码链接 走向数据科学 github Legacy to new

我尝试删除 min_freq 参数并使用默认函数，如下

vocab = Vocab(counter,specials=('\', '\', '\', '\'))

然而，我最终得到了相同的类型错误，但对于特殊参数而不是 min_freq。

任何帮助将不胜感激，

谢谢。

Answer 1

AS https://github.com/pytorch/pytorch/text/text/issues/1445 应该将“词汇”更改为“词汇”。我认为他们错过了旧版笔记本。

正确的代码：

from torchtext.datasets import IMDB
from collections import Counter
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import vocab
tokenizer = get_tokenizer('basic_english')  
train_iter = IMDB(split='train')
test_iter = IMDB(split='test')
counter = Counter()
for (label, line) in train_iter:
    counter.update(tokenizer(line))
vocab = vocab(counter, min_freq = 1, specials=('\<unk\>', '\<BOS\>', '\<EOS\>', '\<PAD\>'))

我的环境：

• Python 3.9.12
• TorchText 0.12.0
• Pytorch 1.11.0

Answer 2

您可以尝试使用torchtext.legacy.vocab而不是可以解决问题的Vocab。这对我有用：

from torchtext.datasets import IMDB
from collections import Counter
from torchtext.data.utils import get_tokenizer
from torchtext.legacy.vocab import vocab

Answer 3

抱歉，这对我不起作用。 :(
词汇是对象的正确名称，词汇不是。

我发现的简单解决方案是：从实验词汇中除去了“特殊”元组，并且不再使用！就这样。

https://github.com/pytorch/pytorch/text/text/sissues/890

我的环境：我的环境：

python 3.8.16
torchtext 0.15.1
pytorch 2.0.0