Question

PyTorch 的简洁设计使得它入门很简单，在深入介绍 PyTorch 之前，本节将先介绍一些 PyTorch 的基础知识，使得读者能够对 PyTorch 有一个大致的了解，并能够用 PyTorch 搭建一个简单的神经网络。部分内容读者可能暂时不太理解，可先不予以深究，本书的第 3 章和第 4 章将会对此进行深入讲解。

本节内容参考了 PyTorch 官方教程 ^1 并做了相应的增删修改，使得内容更贴合新版本的 PyTorch 接口，同时也更适合新手快速入门。另外本书需要读者先掌握基础的 Numpy 使用，其他相关知识推荐读者参考 CS231n 的教程 ^2 。

Tensor

Tensor 是 PyTorch 中重要的数据结构，可认为是一个高维数组。它可以是一个数（标量）、一维数组（向量）、二维数组（矩阵）以及更高维的数组。Tensor 和 Numpy 的 ndarrays 类似，但 Tensor 可以使用 GPU 进行加速。Tensor 的使用和 Numpy 及 Matlab 的接口十分相似，下面通过几个例子来看看 Tensor 的基本使用。

 from __future__ import print_function
import torch as t

# 构建 5x3 矩阵，只是分配了空间，未初始化
x = t.Tensor(5, 3)  
x

1.00000e-07 *
  0.0000  0.0000  5.3571
  0.0000  0.0000  0.0000
  0.0000  0.0000  0.0000
  0.0000  5.4822  0.0000
  5.4823  0.0000  5.4823
[torch.FloatTensor of size 5x3]

# 使用[0,1]均匀分布随机初始化二维数组
x = t.rand(5, 3)  
x

 0.3673  0.2522  0.3553
 0.0070  0.7138  0.0463
 0.6198  0.6019  0.3752
 0.4755  0.3675  0.3032
 0.5824  0.5104  0.5759
[torch.FloatTensor of size 5x3]

print(x.size()) # 查看 x 的形状
x.size()[1], x.size(1) # 查看列的个数, 两种写法等价

torch.Size([5, 3])

(3, 3)

torch.Size 是 tuple 对象的子类，因此它支持 tuple 的所有操作，如 x.size()[0]

y = t.rand(5, 3)
# 加法的第一种写法
x + y

 0.4063  0.7378  1.2411
 0.0687  0.7725  0.0634
 1.1016  1.4291  0.7324
 0.7604  1.2880  0.4597
 0.6020  1.0124  1.0185
[torch.FloatTensor of size 5x3]

# 加法的第二种写法
t.add(x, y)

 0.4063  0.7378  1.2411
 0.0687  0.7725  0.0634
 1.1016  1.4291  0.7324
 0.7604  1.2880  0.4597
 0.6020  1.0124  1.0185
[torch.FloatTensor of size 5x3]

# 加法的第三种写法：指定加法结果的输出目标为 result
result = t.Tensor(5, 3) # 预先分配空间
t.add(x, y, out=result) # 输入到 result
result

 0.4063  0.7378  1.2411
 0.0687  0.7725  0.0634
 1.1016  1.4291  0.7324
 0.7604  1.2880  0.4597
 0.6020  1.0124  1.0185
[torch.FloatTensor of size 5x3]

print('最初 y')
print(y)

print('第一种加法，y 的结果')
y.add(x) # 普通加法，不改变 y 的内容
print(y)

print('第二种加法，y 的结果')
y.add_(x) # inplace 加法，y 变了
print(y)

最初 y

 0.0390  0.4856  0.8858
 0.0617  0.0587  0.0171
 0.4818  0.8272  0.3572
 0.2849  0.9205  0.1565
 0.0196  0.5020  0.4426
[torch.FloatTensor of size 5x3]

第一种加法，y 的结果

 0.0390  0.4856  0.8858
 0.0617  0.0587  0.0171
 0.4818  0.8272  0.3572
 0.2849  0.9205  0.1565
 0.0196  0.5020  0.4426
[torch.FloatTensor of size 5x3]

第二种加法，y 的结果

 0.4063  0.7378  1.2411
 0.0687  0.7725  0.0634
 1.1016  1.4291  0.7324
 0.7604  1.2880  0.4597
 0.6020  1.0124  1.0185
[torch.FloatTensor of size 5x3]

注意，函数名后面带下划线_ 的函数会修改 Tensor 本身。例如， x.add_(y) 和 x.t_() 会改变 x ，但 x.add(y) 和 x.t() 返回一个新的 Tensor， 而 x 不变。

# Tensor 的选取操作与 Numpy 类似
x[:, 1]

 0.2522
 0.7138
 0.6019
 0.3675
 0.5104
[torch.FloatTensor of size 5]

Tensor 还支持很多操作，包括数学运算、线性代数、选择、切片等等，其接口设计与 Numpy 极为相似。更详细的使用方法，会在第三章系统讲解。

Tensor 和 Numpy 的数组之间的互操作非常容易且快速。对于 Tensor 不支持的操作，可以先转为 Numpy 数组处理，之后再转回 Tensor。

a = t.ones(5) # 新建一个全 1 的 Tensor
a

 1
 1
 1
 1
 1
[torch.FloatTensor of size 5]

b = a.numpy() # Tensor -> Numpy
b

array([1., 1., 1., 1., 1.], dtype=float32)

import numpy as np
a = np.ones(5)
b = t.from_numpy(a) # Numpy->Tensor
print(a)
print(b) 

[1. 1. 1. 1. 1.]

 1
 1
 1
 1
 1
[torch.DoubleTensor of size 5]

Tensor 和 numpy 对象共享内存，所以他们之间的转换很快，而且几乎不会消耗什么资源。但这也意味着，如果其中一个变了，另外一个也会随之改变。

b.add_(1) # 以`_`结尾的函数会修改自身
print(a)
print(b) # Tensor 和 Numpy 共享内存

[2. 2. 2. 2. 2.]

 2
 2
 2
 2
 2
[torch.DoubleTensor of size 5]

Tensor 可通过 .cuda 方法转为 GPU 的 Tensor，从而享受 GPU 带来的加速运算。

# 在不支持 CUDA 的机器下，下一步不会运行
if t.cuda.is_available():
    x = x.cuda()
    y = y.cuda()
    x + y

此处可能发现 GPU 运算的速度并未提升太多，这是因为 x 和 y 太小且运算也较为简单，而且将数据从内存转移到显存还需要花费额外的开销。GPU 的优势需在大规模数据和复杂运算下才能体现出来。

Autograd: 自动微分

深度学习的算法本质上是通过反向传播求导数，而 PyTorch 的Autograd模块则实现了此功能。在 Tensor 上的所有操作，Autograd 都能为它们自动提供微分，避免了手动计算导数的复杂过程。

autograd.Variable 是 Autograd 中的核心类，它简单封装了 Tensor，并支持几乎所有 Tensor 有的操作。Tensor 在被封装为 Variable 之后，可以调用它的 .backward 实现反向传播，自动计算所有梯度。Variable 的数据结构如图 2-6 所示。

Variable 主要包含三个属性。

• data ：保存 Variable 所包含的 Tensor
• grad ：保存 data 对应的梯度， grad 也是个 Variable，而不是 Tensor，它和 data 的形状一样。
• grad_fn ：指向一个 Function 对象，这个 Function 用来反向传播计算输入的梯度，具体细节会在下一章讲解。

from torch.autograd import Variable

# 使用 Tensor 新建一个 Variable
x = Variable(t.ones(2, 2), requires_grad = True)
x

Variable containing:
 1  1
 1  1
[torch.FloatTensor of size 2x2]

y = x.sum()
y

Variable containing:
 4
[torch.FloatTensor of size 1]

y.grad_fn

<SumBackward0 at 0x7fc14824b860>

y.backward() # 反向传播,计算梯度

# y = x.sum() = (x[0][0] + x[0][1] + x[1][0] + x[1][1])
# 每个值的梯度都为 1
x.grad 

Variable containing:
 1  1
 1  1
[torch.FloatTensor of size 2x2]

注意： grad 在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以反向传播之前需把梯度清零。

y.backward()
x.grad

Variable containing:
 2  2
 2  2
[torch.FloatTensor of size 2x2]

y.backward()
x.grad

Variable containing:
 3  3
 3  3
[torch.FloatTensor of size 2x2]

# 以下划线结束的函数是 inplace 操作，就像 add_
x.grad.data.zero_()

 0  0
 0  0
[torch.FloatTensor of size 2x2]

y.backward()
x.grad

Variable containing:
 1  1
 1  1
[torch.FloatTensor of size 2x2]

Variable 和 Tensor 具有近乎一致的接口，在实际使用中可以无缝切换。

x = Variable(t.ones(4,5))
y = t.cos(x)
x_tensor_cos = t.cos(x.data)
print(y)
x_tensor_cos

Variable containing:
 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
[torch.FloatTensor of size 4x5]

 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
 0.5403  0.5403  0.5403  0.5403  0.5403
[torch.FloatTensor of size 4x5]

神经网络

Autograd 实现了反向传播功能，但是直接用来写深度学习的代码在很多情况下还是稍显复杂，torch.nn 是专门为神经网络设计的模块化接口。nn 构建于 Autograd 之上，可用来定义和运行神经网络。nn.Module 是 nn 中最重要的类，可把它看成是一个网络的封装，包含网络各层定义以及 forward 方法，调用 forward(input) 方法，可返回前向传播的结果。下面就以最早的卷积神经网络：LeNet 为例，来看看如何用 nn.Module 实现。LeNet 的网络结构如图 2-7 所示。

这是一个基础的前向传播(feed-forward) 网络: 接收输入，经过层层传递运算，得到输出。

定义网络

定义网络时，需要继承 nn.Module ，并实现它的 forward 方法，把网络中具有可学习参数的层放在构造函数 __init__ 中。如果某一层（如 ReLU) 不具有可学习的参数，则既可以放在构造函数中，也可以不放，但建议不放在其中，而在 forward 中使用 nn.functional 代替。

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        # nn.Module 子类的函数必须在构造函数中执行父类的构造函数
        # 下式等价于 nn.Module.__init__(self)
        super(Net, self).__init__()

        # 卷积层 '1'表示输入图片为单通道, '6'表示输出通道数，'5'表示卷积核为 5*5
        self.conv1 = nn.Conv2d(1, 6, 5) 
        # 卷积层
        self.conv2 = nn.Conv2d(6, 16, 5) 
        # 仿射层/全连接层，y = Wx + b
        self.fc1   = nn.Linear(16*5*5, 120) 
        self.fc2   = nn.Linear(120, 84)
        self.fc3   = nn.Linear(84, 10)

    def forward(self, x): 
        # 卷积 -> 激活 -> 池化 
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
        # reshape，‘-1’表示自适应
        x = x.view(x.size()[0], -1) 
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)        
        return x

net = Net()
print(net)

Net(
  (conv1): Conv2d (1, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d (6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120)
  (fc2): Linear(in_features=120, out_features=84)
  (fc3): Linear(in_features=84, out_features=10)
)

只要在 nn.Module 的子类中定义了 forward 函数，backward 函数就会自动被实现（利用 Autograd )。在 forward 函数中可使用任何 Variable 支持的函数，还可以使用 if、for 循环、print、log 等 Python 语法，写法和标准的 Python 写法一致。

网络的可学习参数通过 net.parameters() 返回， net.named_parameters 可同时返回可学习的参数及名称。

params = list(net.parameters())
print(len(params))

10

for name,parameters in net.named_parameters():
    print(name,':',parameters.size())

conv1.weight : torch.Size([6, 1, 5, 5])
conv1.bias : torch.Size([6])
conv2.weight : torch.Size([16, 6, 5, 5])
conv2.bias : torch.Size([16])
fc1.weight : torch.Size([120, 400])
fc1.bias : torch.Size([120])
fc2.weight : torch.Size([84, 120])
fc2.bias : torch.Size([84])
fc3.weight : torch.Size([10, 84])
fc3.bias : torch.Size([10])

forward 函数的输入和输出都是 Variable，只有 Variable 才具有自动求导功能，而 Tensor 是没有的，所以在输入时，需把 Tensor 封装成 Variable。

input = Variable(t.randn(1, 1, 32, 32))
out = net(input)
out.size()

torch.Size([1, 10])

net.zero_grad() # 所有参数的梯度清零
out.backward(Variable(t.ones(1,10))) # 反向传播

需要注意的是，torch.nn 只支持 mini-batches，不支持一次只输入一个样本，即一次必须是一个 batch。但如果只想输入一个样本，则用 input.unsqueeze(0) 将 batch_size 设为１。例如 nn.Conv2d 输入必须是 4 维的，形如$nSamples \times nChannels \times Height \times Width$。可将 nSample 设为 1，即$1 \times nChannels \times Height \times Width$。

损失函数

nn 实现了神经网络中大多数的损失函数，例如 nn.MSELoss 用来计算均方误差，nn.CrossEntropyLoss 用来计算交叉熵损失。

output = net(input)
target = Variable(t.arange(0,10))  
criterion = nn.MSELoss()
loss = criterion(output, target)
loss

Variable containing:
 28.5536
[torch.FloatTensor of size 1]

如果对 loss 进行反向传播溯源（使用 gradfn 属性)，可看到它的计算图如下：

input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d  
      -> view -> linear -> relu -> linear -> relu -> linear 
      -> MSELoss
      -> loss

当调用 loss.backward() 时，该图会动态生成并自动微分，也即会自动计算图中参数(Parameter) 的导数。

# 运行.backward，观察调用之前和调用之后的 grad
net.zero_grad() # 把 net 中所有可学习参数的梯度清零
print('反向传播之前 conv1.bias 的梯度')
print(net.conv1.bias.grad)
loss.backward()
print('反向传播之后 conv1.bias 的梯度')
print(net.conv1.bias.grad)

反向传播之前 conv1.bias 的梯度
Variable containing:
 0
 0
 0
 0
 0
 0
[torch.FloatTensor of size 6]

反向传播之后 conv1.bias 的梯度
Variable containing:
1.00000e-02 *
 -4.2109
 -2.7638
 -5.8431
  1.3761
 -2.4141
 -1.2015
[torch.FloatTensor of size 6]

优化器

在反向传播计算完所有参数的梯度后，还需要使用优化方法来更新网络的权重和参数，例如随机梯度下降法(SGD) 的更新策略如下：

weight = weight - learning_rate * gradient

手动实现如下：

learning_rate = 0.01
for f in net.parameters():
    f.data.sub_(f.grad.data * learning_rate)# inplace 减法

torch.optim 中实现了深度学习中绝大多数的优化方法，例如 RMSProp、Adam、SGD 等，更便于使用，因此大多数时候并不需要手动写上述代码。

import torch.optim as optim
#新建一个优化器，指定要调整的参数和学习率
optimizer = optim.SGD(net.parameters(), lr = 0.01)

# 在训练过程中
# 先梯度清零（与 net.zero_grad() 效果一样)
optimizer.zero_grad() 

# 计算损失
output = net(input)
loss = criterion(output, target)

#反向传播
loss.backward()

#更新参数
optimizer.step()

数据加载与预处理

在深度学习中数据加载及预处理是非常复杂繁琐的，但 PyTorch 提供了一些可极大简化和加快数据处理流程的工具。同时，对于常用的数据集，PyTorch 也提供了封装好的接口供用户快速调用，这些数据集主要保存在 torchvison 中。

torchvision 实现了常用的图像数据加载功能，例如 Imagenet、CIFAR10、MNIST 等，以及常用的数据转换操作，这极大地方便了数据加载，并且代码具有可重用性。

小试牛刀：CIFAR-10 分类

下面我们来尝试实现对 CIFAR-10 数据集的分类，步骤如下:

1. 使用 torchvision 加载并预处理 CIFAR-10 数据集
2. 定义网络
3. 定义损失函数和优化器
4. 训练网络并更新网络参数
5. 测试网络

CIFAR-10 数据加载及预处理

CIFAR-10 ^3 是一个常用的彩色图片数据集，它有 10 个类别: 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'。每张图片都是$3\times32\times32$，也即 3-通道彩色图片，分辨率为$32\times32$。

import torchvision as tv
import torchvision.transforms as transforms
from torchvision.transforms import ToPILImage
show = ToPILImage() # 可以把 Tensor 转成 Image，方便可视化

# 第一次运行程序 torchvision 会自动下载 CIFAR-10 数据集，
# 大约 100M，需花费一定的时间，
# 如果已经下载有 CIFAR-10，可通过 root 参数指定

# 定义对数据的预处理
transform = transforms.Compose([
        transforms.ToTensor(), # 转为 Tensor
        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), # 归一化
                             ])

# 训练集
trainset = tv.datasets.CIFAR10(
                    root='/home/cy/tmp/data/', 
                    train=True, 
                    download=True,
                    transform=transform)

trainloader = t.utils.data.DataLoader(
                    trainset, 
                    batch_size=4,
                    shuffle=True, 
                    num_workers=2)

# 测试集
testset = tv.datasets.CIFAR10(
                    '/home/cy/tmp/data/',
                    train=False, 
                    download=True, 
                    transform=transform)

testloader = t.utils.data.DataLoader(
                    testset,
                    batch_size=4, 
                    shuffle=False,
                    num_workers=2)

classes = ('plane', 'car', 'bird', 'cat',
           'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

Files already downloaded and verified
Files already downloaded and verified

Dataset 对象是一个数据集，可以按下标访问，返回形如(data, label) 的数据。

(data, label) = trainset[100]
print(classes[label])

# (data + 1) / 2 是为了还原被归一化的数据
show((data + 1) / 2).resize((100, 100))

ship

<PIL.Image.Image image mode=RGB size=100x100 at 0x7FC0FF0ECA20>

Dataloader 是一个可迭代的对象，它将 dataset 返回的每一条数据拼接成一个 batch，并提供多线程加速优化和数据打乱等操作。当程序对 dataset 的所有数据遍历完一遍之后，相应的对 Dataloader 也完成了一次迭代。

dataiter = iter(trainloader)
images, labels = dataiter.next() # 返回 4 张图片及标签
print(' '.join('%11s'%classes[labels[j]] for j in range(4)))
show(tv.utils.make_grid((images+1)/2)).resize((400,100))

       bird         cat        ship        ship

<PIL.Image.Image image mode=RGB size=400x100 at 0x7FC0FD0C9278>

定义网络

拷贝上面的 LeNet 网络，修改 self.conv1 第一个参数为 3 通道，因 CIFAR-10 是 3 通道彩图。

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5) 
        self.conv2 = nn.Conv2d(6, 16, 5)  
        self.fc1   = nn.Linear(16*5*5, 120)  
        self.fc2   = nn.Linear(120, 84)
        self.fc3   = nn.Linear(84, 10)

    def forward(self, x): 
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2)) 
        x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
        x = x.view(x.size()[0], -1) 
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)        
        return x


net = Net()
print(net)

Net(
  (conv1): Conv2d (3, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d (6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120)
  (fc2): Linear(in_features=120, out_features=84)
  (fc3): Linear(in_features=84, out_features=10)
)

定义损失函数和优化器(loss 和 optimizer)

from torch import optim
criterion = nn.CrossEntropyLoss() # 交叉熵损失函数
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

训练网络

所有网络的训练流程都是类似的，不断地执行如下流程：

• 输入数据
• 前向传播+反向传播
• 更新参数

t.set_num_threads(8)
for epoch in range(2):  

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):

        # 输入数据
        inputs, labels = data
        inputs, labels = Variable(inputs), Variable(labels)

        # 梯度清零
        optimizer.zero_grad()

        # forward + backward 
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()   

        # 更新参数 
        optimizer.step()

        # 打印 log 信息
        running_loss += loss.data[0]
        if i % 2000 == 1999: # 每 2000 个 batch 打印一下训练状态
            print('[%d, %5d] loss: %.3f' \
                  % (epoch+1, i+1, running_loss / 2000))
            running_loss = 0.0
print('Finished Training')

[1,  2000] loss: 2.238
[1,  4000] loss: 1.916
[1,  6000] loss: 1.703
[1,  8000] loss: 1.582
[1, 10000] loss: 1.544
[1, 12000] loss: 1.465
[2,  2000] loss: 1.425
[2,  4000] loss: 1.377
[2,  6000] loss: 1.364
[2,  8000] loss: 1.330
[2, 10000] loss: 1.331
[2, 12000] loss: 1.298
Finished Training

此处仅训练了 2 个 epoch（遍历完一遍数据集称为一个 epoch），来看看网络有没有效果。将测试图片输入到网络中，计算它的 label，然后与实际的 label 进行比较。

dataiter = iter(testloader)
images, labels = dataiter.next() # 一个 batch 返回 4 张图片
print('实际的 label: ', ' '.join(\
            '%08s'%classes[labels[j]] for j in range(4)))
show(tv.utils.make_grid(images / 2 - 0.5)).resize((400,100))

实际的 label:       cat     ship     ship    plane

<PIL.Image.Image image mode=RGB size=400x100 at 0x7FC0FD0B8EF0>

接着计算网络预测的 label：

# 计算图片在每个类别上的分数
outputs = net(Variable(images))
# 得分最高的那个类
_, predicted = t.max(outputs.data, 1)

print('预测结果: ', ' '.join('%5s'\
            % classes[predicted[j]] for j in range(4)))

预测结果:    cat  ship plane  ship

已经可以看出效果，准确率 50%，但这只是一部分的图片，再来看看在整个测试集上的效果。

correct = 0 # 预测正确的图片数
total = 0 # 总共的图片数
for data in testloader:
    images, labels = data
    outputs = net(Variable(images))
    _, predicted = t.max(outputs.data, 1)
    total += labels.size(0)
    correct += (predicted == labels).sum()

print('10000 张测试集中的准确率为: %d %%' % (100 * correct / total))

10000 张测试集中的准确率为: 54 %

训练的准确率远比随机猜测（准确率 10%) 好，证明网络确实学到了东西。

在 GPU 训练

就像之前把 Tensor 从 CPU 转到 GPU 一样，模型也可以类似地从 CPU 转到 GPU。

if t.cuda.is_available():
    net.cuda()
    images = images.cuda()
    labels = labels.cuda()
    output = net(Variable(images))
    loss= criterion(output,Variable(labels))

如果发现在 GPU 上并没有比 CPU 提速很多，实际上是因为网络比较小，GPU 没有完全发挥自己的真正实力。

对 PyTorch 的基础介绍至此结束。总结一下，本节主要包含以下内容。

1. Tensor: 类似 Numpy 数组的数据结构，与 Numpy 接口类似，可方便地互相转换。
2. autograd/Variable: Variable 封装了 Tensor，并提供自动求导功能。
3. nn: 专门为神经网络设计的接口，提供了很多有用的功能（神经网络层，损失函数，优化器等)。
4. 神经网络训练: 以 CIFAR-10 分类为例演示了神经网络的训练流程，包括数据加载、网络搭建、训练及测试。

通过本节的学习，相信读者可以体会出 PyTorch 具有接口简单、使用灵活等特点。从下一章开始，本书将深入系统地讲解 PyTorch 的各部分知识。