训练循环不会在数据加载器中的num_workers＆gt; 1开始

Question

我有一个NLP分类问题，其中我有一个数据载体对象，并且它的代码是

train_patentload = DataLoader(train_patentset, batch_size=4, shuffle=True,num_workers=2)

在运行训练循环时它不起作用并卡住了，尽管当num_workers = 2被删除时，代码正常运行。我已经被困了一段时间了，我感谢

在数据框架中的数据集的

class PatentDataset(Dataset):
    def __init__(self, df):
        self.df= df

    def __len__(self):
        return len(df)

    def __getitem__(self, ind):
        conv_dict = {0 : [1., 0., 0., 0., 0.], 0.25 : [1., 1., 0., 0., 0.], 0.5 : [1., 1., 1., 0., 0.], 0.75 : [1., 1., 1., 1., 0.], 1 : [1., 1., 1., 1., 1.]}
        inputs = df.iloc[ind, 1:-1].to_list()
        text = ' #^& '.join(inputs)
        label = np.array(conv_dict[df.iloc[ind, -1]])
        label = torch.as_tensor(label)
        text = tokenizer(text, padding='max_length', max_length = 256, truncation=True, return_tensors="pt")
        return text, label

train_patentset = PatentDataset(train)

帮助。

Answer 1

数字工人2导致Pytorch通过多处理产生2个过程。然后，这两个过程都有自己的train_patentset实例。如果省略num_worker，则将其设置为0，这意味着数据加载是在主线程/进程中完成的。

由于您没有发布更多代码，因此唯一的建议是查看数据集的代码，看看是否有多个点可用于多处理。您是否以某种方式使用数据集类别外的信息，依靠变量或其他内容进行通信。

最好的是更新问题并包括数据集的代码。