批量尺寸的可持续发展目标＆gt; 1？

Question

我正在IBM录制“带有Pytorch的Deep NNS”课程，并遇到了实验室示例，其中可持续发展目标用于优化器，而批处理大小为DataLoader中。

如果我正确理解，SGD将在每个步骤中只有1个训练示例执行梯度下降，那么SGD将如何与每批培训示例进行相互作用？

例如，如果批处理大小= 20，SGD优化器会在每批中执行20 GD步骤吗？如果是这种情况，那么这是否意味着无论我为数据加载器设置了什么批次大小，SGD优化器都会在一个时期内执行（训练示例）GD步骤？

Layers = [2, 50, 3]
model = Net(Layers)
learning_rate = 0.10
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
train_loader = DataLoader(dataset=data_set, batch_size=20)
criterion = nn.CrossEntropyLoss()
LOSS = train(data_set, model, criterion, train_loader, optimizer, epochs=100)

def train(data_set, model, criterion, train_loader, optimizer, epochs=100):
LOSS = []
ACC = []
for epoch in range(epochs):
    for x, y in train_loader:
        print(x, y)
        optimizer.zero_grad()
        yhat = model(x)
        loss = criterion(yhat, y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        LOSS.append(loss.item())
    ACC.append(accuracy(model, data_set))
    ...

Answer 1

如果批处理大小= 20，SGD优化器将执行20 GD步骤
每批？

否。批次尺寸= 20表示，它将处理所有20个样本，然后获得标量损失。基于此，它将回到错误。那是GD的一步。

它被称为 minibatch sgd ，而不是像在SGD中这样的1输入，而是考虑20，然后其他所有内容保持不变。