Pytorch中使用图像增强技术也会增加本地机器上的数据集大小

Question

我正在培训Pytorch的定制模型，数据集非常不平衡。在有10个类中，有些类只有800张图像，而有些则有4000张图像。我发现图像增强是解决我的问题以避免过度拟合的解决方案。但是我之间在实施之间感到困惑，以下代码用于更改图像的功能

loader_transform = transforms.Compose([
transforms.RandomRotation(30),
transforms.RandomResizedCrop(140),
transforms.RandomHorizontalFlip()
])

，但是在训练时，它显示了与新创建的增强数据集Go相同的图像数量相同的图像。而且，如果我想将其保存在本地机器上，甚至可以让所有课程都可以做什么？

Answer 1

看起来您正在使用在线增强，如果您想使用离线请执行保存图像的预处理步骤，然后在培训步骤中使用它们，

请进行 区别

当然，您了解在线增强和离线增强 离线或预处理增强

以增加数据集的大小，应用增强功能的 作为预处理步骤。通常，当我们想扩展小型培训数据集时，我们会这样做。
应用于较大的数据集时，我们必须考虑磁盘空间

在线或实时增强

该增强正在通过随机增强实时应用。
由于不需要将增强图像保存在磁盘上，因此该方法通常应用于大型数据集。
在每个时期，在线增强模型将看到不同的图像。

Answer 2

很难看不见您的数据集/数据集加载程序，但是我怀疑您只是将转换应用于数据集，这不会更改数据集大小，只需增加现有图像即可。如果您想平衡课程，则添加采样器似乎是最简单的解决方案。

这是我用于此目的的（有些简化的）代码，利用pandas，collections和torch.utils.data.weightedrandsampler。可能不是最好的，但可以完成工作：

# Note the trasnformations should include ToTensor() in this case.
data = datasets.ImageFolder('/path/to/images', transform=loader_transform)

# Split into train/test sets:
train_len = int(len(data)*0.8)
train_set, test_set = random_split(data, [train_len, len(data) - train_len])

# Extract classes:
train_classes = [train_set.dataset.targets[i] for i in train_set.indices]
# Calculate support:
class_count = Counter(train_classes)
# Calculate class weights:
class_weights = torch.DoubleTensor([len(train_classes)/c for c in pd.Series(class_count).sort_index().values]) 
# Sampler needs the respective class weight supplied for each image in the dataset:
sample_weights = [class_weights[train_set.dataset.targets[i]] for i in train_set.indices]

sampler = WeightedRandomSampler(weights=sample_weights, num_samples=int(len(train_set)*2), replacement=True)

# Create torch dataloaders:
train_loader = DataLoader(train_set, batch_size=4, sampler=sampler, num_workers=12)
print("The number of images in a training set is:", len(train_loader)*batch_size)

test_loader = DataLoader(test_set, batch_size=4, shuffle=False, num_workers=12)
print("The number of images in a test set is:", len(test_loader)*batch_size)

在这种情况下，最终火车尺寸将是原件的2倍，但是您也可以使用较小的尺寸进行实验，无论选择的尺寸如何，班级表示都会平衡。