我要评论本教程目标：
- 在 pytorch 中执行张量运算。
- 了解 autograd 背景下神经网络的后向和前向传递。
- 检测 pytorch 训练代码中的常见问题。
本教程内容：
0. 快速开始
方法一：colab已经自动帮我们安装好了torch库，我们可以直接使用。建议可以直接先使用在线的编译器，先快速理解知识点。
方法二：在vscode/pycharm上通过pip install 来安装torch,torchvision
1. tensor
我们将从最基本的张量开始。首先，浏览官方张量教程这里。
- 将二维列表
[[5,3], [0,9]]转换为一个张量 - 使用区间
[0, 1)上均匀分布的随机数创建形状(5, 4)的张量t - 找出张量
t所在的设备及其数据类型。 - 创建形状
(4,4)和(4,4)的两个随机张量，分别称为u和v。将它们连接起来形成形状为(8, 4)的张量。 - 连接
u和v以创建形状(2, 4, 4)的张量。 - 连接
u和v形成一个张量，称为形状(4, 4, 2)的w。 - 索引
w位于3, 3, 0。将该元素称为e。 - 会在
u或v的哪一个中找到w？并核实。 - 创建一个形状为
(4, 3)的全为1的张量a。对a进行元素级别的自乘操作。 - 向
a添加一个额外的维度（新的第0维度）。 - 执行
a与转置矩阵的乘法。 a.mul(a)会产生什么结果？
2. autograd 和神经网络
神经网络(nn) 是对某些输入数据执行的嵌套函数的集合。这些函数由参数（由权重和偏差组成）定义，这些参数在pytorch中存储在张量中。可以使用 torch.nn 包构建神经网络。
训练神经网络分两步进行：
- 前向传播：在前向传播中，神经网络对正确的输出做出最佳猜测。它通过每个函数运行输入数据来进行猜测。
- 反向传播：在反向传播中，神经网络根据其猜测的误差按比例调整其参数。它通过从输出向后遍历、收集误差相对于函数参数（梯度）的导数并使用梯度下降来优化参数来实现这一点。
更一般地，神经网络的典型训练过程如下：
- 定义具有一些可学习参数（或权重）的神经网络
- 迭代输入数据集
- 通过网络处理输入
- 计算损失（输出距离正确还有多远）
- 将梯度传播回网络参数
- 更新网络的权重，通常使用简单的更新规则：权重=权重-学习率梯度
有了这些教程，我们就可以尝试以下练习了！假设我们有以下起始代码，将下面这段代码复制到你的编辑器中：
import torch
from torchvision.models import resnet18, resnet18_weights
model = resnet18(weights=resnet18_weights.default)
data = torch.rand(1, 3, 64, 64)
labels = torch.rand(1, 1000)
- 使用数据对模型进行前向传递并将其保存为
preds。 preds的形状应该是什么？验证你的猜测。- 将
resnet18的conv1属性的权重参数保存为w。打印w因为我们稍后需要它（请注意，我的w不会与你的相同）。 w的grad属性应该是什么？请验证。- 创建一个交叉熵损失对象，并用它来使用
labels和preds计算损失，保存为loss。打印loss，因为我们稍后需要它。 - 打印最后一次产生
loss损失的数学运算。 - 执行反向传播。
w应该改变吗？检查 #3 的输出。w的grad属性会与 #4 不同吗？并验证。loss的grad属性应该返回什么？验证一下。loss的requires_grad属性应该是什么？验证一下。labels的requires_grad属性应该是什么？验证一下。- 如果你再次执行反向传播会发生什么？
- 创建一个学习率 (
lr=1e-2) 和动量 (momentum=0.9) 的 sgd 优化器对象，并执行一步。 w是否应该改变？检查第3题的输出。loss是否应该改变？检查第5题的输出。- 将所有可训练参数的梯度清零。
w的grad属性应该是什么？验证一下。- 在不运行的情况下，判断以下代码是否会成功执行。
- 判断以下代码是否会成功执行。
- 判断以下代码是否会成功执行。
- 对于不能执行的代码，你如何修改其中一个
.backward行使其工作？ - 以下代码的输出是什么？
- 以下代码的输出是什么？
- 以下代码有什么问题？
- 按正确的顺序排列训练循环的以下步骤（有多种正确答案，但你在教程中会看到一种典型的设置）：以下代码的输出是什么？
- 我们将实现一个有一个隐藏层的神经网络。这个网络将接受一个32x32的灰度图像输入，展开它，通过一个有100个输出特征的仿射变换，应用
relu非线性，然后映射到目标类别（10）。实现初始化和前向传递，完成以下代码。使用nn.linear,f.relu,torch.flatten - 用两行代码验证你能通过上述网络进行前向传递。
- 在不运行代码的情况下，猜测以下语句的结果是什么？
- 获取网络参数的名称
- 以下语句指的是哪个网络层？它将评估什么？
- 以下示意图包含了实现一个神经网络所需的所有信息。实现初始化和前向传递，完成以下代码。使用
nn.conv2d,nn.linear,f.max_pool2d,f.relu,torch.flatten。提示：relu在子采样操作后和前两个全连接层之后应用。 - 修改上述代码，使用
nn.maxpool2d代替f.max_pool2d - 尝试通过将第一个卷积层的输出通道数从6增加到12来增加网络的宽度。你还需要改变什么？
3. 训练分类器
接下来，我们进入教程的最后一部分：cifar10教程。这个教程通过以下步骤来训练一个图像分类器：
- 使用torchvision加载和归一化 (normalize) cifar10训练和测试数据集
- 定义一个卷积神经网络
- 定义一个损失函数
- 在训练数据上训练网络
- 在测试数据上测试网络
完成上述教程后，回答以下问题：
- 以下数据集加载代码可以运行，但代码中是否有错误？这些错误的影响是什么？如何修复这些错误？
- 编写两行代码从数据加载器中获取随机的训练图像（假设上面的错误已经修复）。
- 以下训练代码可以运行，但代码中是否有错误（包括计算效率低下）？这些错误的影响是什么？如何修复这些错误？
4. 总结
切记以上代码可能刚开始看会有些困难，但这很正常，一定要克制住自己的好奇心直接看答案，哪怕实在想不出来，也应该先把自己的思考和尝试写下来。然后再去看答案，比对自己的输出和答案有什么区别(敏感的人可能发现了，这和前向传播和计算损失很像)，确实是这样，就是需要不断训练自己的大脑。
熟悉pytorch可能需要一些时间，这很正常！pytorch是深度学习开发的强大工具。完成上面的练习后，可以在这里查看快速入门教程，该教程将涵盖更多方面，包括保存和加载模型以及数据集和数据加载器。
这就是我们关于pytorch基础知识的全部内容！恭喜你 - 现在你已经具备了开始解决利用pytorch的更复杂深度学习代码的能力。
发表评论