使用 torch.autograd 进行自动微分

在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数对给定参数的梯度进行调整。损失函数计算神经网络产生的实际输出与预期输出之间的差异。目标是使损失函数的结果尽可能接近零。该算法通过神经网络向后遍历来调整权重和偏差，以重新训练模型，这就是反向传播的由来。这种通过前后过程不断重新训练模型以将损失降至零的过程被称为梯度下降。

为了计算这些梯度，PyTorch 提供了一个内置的微分引擎 torch.autograd，它支持对任意计算图进行自动梯度计算。

考虑一个最简单的单层神经网络，输入为 x，参数为 w 和 b，以及某个损失函数。可以用 PyTorch 以如下方式定义：

张量、函数和计算图

这段代码定义了一个计算图，在这个网络中，w 和 b 是参数，需要优化。因此，我们需要能够计算损失函数相对于这些变量的梯度。为此，我们设置这些张量的 requires_grad 属性。

注意： 您可以在创建张量时设置 requires_grad 的值，或者稍后使用 x.requires_grad_(True) 方法进行设置。

应用于张量以构建计算图的函数是 Function 类的一个对象。此对象知道如何在前向方向上计算该函数，并在反向传播步骤中计算其导数。张量的 grad_fn 属性中存储了对反向传播函数的引用。

计算梯度

为了优化神经网络中的参数权重，我们需要计算损失函数相对于参数的导数；也就是说，我们需要在固定的 x 和 y 值下，求出 $\frac{\partial loss}{\partial w}$ 和 $\frac{\partial loss}{\partial b}$。为了计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 中获取对应的值：

注意： 我们只能在计算图中设置了 requires_grad=True 的叶子节点上获取 grad 属性。对于图中的其他节点，将无法获得梯度。此外，出于性能考虑，我们只能对给定的计算图执行一次 backward 的梯度计算。如果需要对同一图执行多次 backward 调用，需要在调用 backward 时传递 retain_graph=True 参数。

禁用梯度跟踪

默认情况下，所有带有 requires_grad=True 的张量都会跟踪其计算历史，并支持梯度计算。然而，在某些情况下我们不需要这样做，例如，当我们已经训练好模型，只是想将其应用于一些输入数据时；也就是说，我们只想在网络中执行前向计算。我们可以通过使用 torch.no_grad() 块包裹我们的计算代码来停止跟踪计算过程：

另一种实现相同效果的方法是对张量使用 detach() 方法：

您可能希望禁用梯度跟踪的原因包括：

• 将神经网络中的某些参数标记为冻结参数。这是微调预训练网络时非常常见的情况。
• 当您仅进行前向传播时，可以加速计算，因为对不跟踪梯度的张量进行计算效率更高。

关于计算图的更多信息

从概念上讲，autograd 记录了数据（张量）和所有执行的操作（以及产生的新张量）在一个由 Function 对象构成的有向无环图（DAG）中。在这个 DAG 中，叶子节点是输入张量，而根节点是输出张量。通过从根节点追踪到叶子节点，可以使用链式法则自动计算梯度。

在前向传播中，autograd 同时做两件事情：

• 运行请求的操作以计算结果张量
• 在 DAG 中维护操作的梯度函数

当在 DAG 根节点上调用 .backward() 时，反向传播开始。此时 autograd 会：

• 从每个 .grad_fn 计算梯度
• 将它们累加到相应张量的 .grad 属性中
• 使用链式法则，一直传播到叶子张量

PyTorch 中的 DAG 是动态的

一个重要的注意事项是，图在每次 .backward() 调用后都会从头开始重建；autograd 开始填充一个新图。这正是允许您在模型中使用控制流语句的原因；如果需要，您可以在每次迭代中改变形状、大小和操作。

可选阅读：张量梯度和雅可比乘积

在许多情况下，我们有一个标量损失函数，需要计算相对于某些参数的梯度。然而，也有一些情况下，输出函数是一个任意张量。在这种情况下，PyTorch 允许您计算雅可比乘积，而不是实际的梯度。

对于向量函数 $\vec{y}=f(\vec{x})$，其中 $\vec{x}=\langle x1,\dots,xn\rangle$ 和 $\vec{y}=\langle y1,\dots,ym\rangle$，则 $\vec{y}$ 相对于 $\vec{x}$ 的梯度由一个雅可比矩阵给出，其元素 $J_{ij}$ 包含 $\frac{\partial y_{i}}{\partial x_{j}}$。

PyTorch 允许您计算给定输入向量 $v=(v_1, \dots, v_m)$ 的雅可比乘积 $v^T\cdot J$，而不是计算雅可比矩阵本身。这可以通过调用 backward 并将 $v$ 作为参数来实现。向量 $v$ 的大小应该与我们想要计算乘积的原始张量的大小相同：

Second call

Call after zeroing gradients

请注意，当我们第二次使用相同的参数调用 backward 时，梯度的值会不同。这是因为在进行反向传播时，PyTorch 累加梯度；也就是说，计算出的梯度值会加到计算图中所有叶子节点的 grad 属性上。如果您想计算正确的梯度，需要事先将 grad 属性清零。在实际训练中，优化器帮助我们完成这一操作。

注意： 之前，我们调用 backward() 函数时没有参数。这相当于调用 backward(torch.tensor(1.0))，这是一种在标量值函数（如神经网络训练中的损失）情况下计算梯度的有用方法。