微调LLM前你需要了解的一些概念-- 反向传播解析

01 · 先建立直觉：训练 = 一个反复打分与改作业的循环

假设你在教一个学生做数学题。流程是这样的：题目给他做（前向）、老师打分（loss）、老师指出每一步错在哪、错多少（反向求梯度）、学生根据这些反馈修改自己的解题习惯（优化器更新参数）。

神经网络的训练本质上就是这个循环，只是"学生"换成了一堆参数 W 和 b，"老师"换成了损失函数，"修改习惯"换成了沿着梯度方向调整数值。

类比
Loss = 老师给的总扣分。
梯度 = "这道题里第 3 步贡献了 5 分扣分，第 7 步贡献了 2 分"——把总误差摊回到每一个具体决定上。
优化器 = 学生根据这些细分反馈，决定下次每一步怎么改、改多少。

图 1 · 一个训练 step 的闭环：前向 → 算 loss → 反向 → 更新

02 · 第一步 · 前向传播：模型先给出一个预测

反向传播的前提是先有一次前向传播。模型把输入 x 一层一层往前算，每一层做的事情都很朴素：

z = W · x + b
a = σ(z)

其中 W 是权重矩阵，b 是偏置，σ 是激活函数（ReLU、GELU、Softmax 等）。一层输出的 a 又作为下一层的输入，一路传到最后输出 ŷ。

关键点：在前向传播的过程中，框架（PyTorch / JAX / TF）会偷偷把每一步的中间结果都"记账"下来，形成一张计算图。 这张图就是反向传播能够沿着原路返回的"路标"。没有这本账，后面的链式求导就无从谈起。

03 · 第二步 · Loss：用一个数字量化"错得有多离谱"

预测出来 ŷ 之后，需要一个标量来衡量"离正确答案 y 还差多少"。这就是损失函数（loss function）。

常见 Loss 速查

无论形式怎么变，Loss 都是一个标量——只有一个数字。这一点至关重要：因为只有标量函数才能对每一个参数求出一个明确的"导数方向"。

注意
Loss 本身不会改参数。它只是一个"评分员"：给当前这套参数打了个分。真正动手改参数的是后面的反向传播和优化器。

04 · 第三步 · 反向传播：用链式法则把误差摊给每个参数

现在我们有了一个数字 L（loss），还有几百万、几十亿个参数 W。问题来了：L 这一个数字，怎么变成对每一个 W 的"改进建议"？

核心数学：链式法则

反向传播的灵魂只有一行高中数学——复合函数求导：

∂L/∂W₁ = ∂L/∂a₃ · ∂a₃/∂z₃ · ∂z₃/∂a₂ · ∂a₂/∂z₂ · ∂z₂/∂a₁ · ∂a₁/∂z₁ · ∂z₁/∂W₁

看着吓人，但意思非常朴素："L 对 W₁ 的敏感度"等于一连串"上一层对下一层的敏感度"相乘。从输出端开始，一层一层往输入端"传递责任"。

反向传播的 4 个动作

1. 从输出端开始 — 先算最容易的一步：Loss 对最后一层输出 ŷ 的导数 ∂L/∂ŷ。例如 MSE 的话就是 2(ŷ − y)。
2. 沿计算图反着走 — 有了 ∂L/∂ŷ，结合前向时记下来的中间值，就能反推出 ∂L/∂W_last。再往前一层，继续。
3. 把"上游梯度"乘进来 — 每一层只需要做一次乘法：本层的局部梯度 × 从后一层传过来的梯度，得到的就是 Loss 对本层参数的梯度。
4. 得到一张梯度地图 — 走完整张计算图后，每个参数 W 都会拿到自己专属的梯度 g = ∂L/∂W，告诉它："你应该往哪个方向、用多大力度修改"。

类比
把神经网络想象成一条流水线。某个产品最终被客户投诉（Loss 大）。反向传播就是顺着流水线倒查：终检环节贡献了多少错？焊接环节贡献了多少？最上游的备料环节又贡献了多少？每个工人（参数）最后都拿到一张属于自己的"责任分摊单"，那就是它的梯度。

梯度告诉你两件事

图 3 · 不同层得到的梯度幅值（典型情况）：越靠近输出层，梯度信号越强；越靠近输入层，梯度往往越小（这就是"梯度消失"的来源，也是 ResNet、LayerNorm 等技巧要解决的问题）。

05 · 第四步 · 优化器：拿到梯度后，到底怎么改参数？

反向传播只负责算出梯度，但"具体怎么用这些梯度去改参数"是优化器（Optimizer）的工作。最朴素的优化器只有一行公式：

SGD：W ← W − η · g

其中 η 是学习率（learning rate）。直觉上：梯度告诉你"哪边是上坡"，优化器就反着走，迈一步 η 那么大。学习率太大容易冲过头，太小则训练慢。

主流优化器一览

为什么 Adam 类优化器会"自适应"？

Adam 在内部维护两个"记忆"：

m ← β₁·m + (1−β₁)·g      // 一阶动量：梯度的滑动平均
v ← β₂·v + (1−β₂)·g²     // 二阶动量：梯度平方的滑动平均
W ← W − η · m̂ / (√v̂ + ε)

直觉：m 像方向感，告诉你"最近一直往哪走"；v 像油门刹车，告诉你"这个参数的梯度噪声大不大"。梯度长期很大的参数 v 就大，于是被自动除小，更新更稳；长期不动的参数 v 就小，更新被自动放大。

易混点
很多人把"梯度"和"参数更新量"混为一谈。其实：梯度 g 是反向传播给的"建议"；更新量 ΔW 是优化器对建议的"重新解读"——加上学习率、动量、自适应缩放、权重衰减之后才是真正写回 W 的数。

06 · 把链路串起来：一次训练 step 的完整剧本

把前面四步合在一起，一个最小的训练 step 长这样（PyTorch 写法）：

# 1. 取一个 batch 的数据
x, y = next(loader)

# 2. 前向传播：模型预测 + 计算 loss
y_hat = model(x)
loss  = criterion(y_hat, y)

# 3. 清掉上一步的旧梯度（PyTorch 默认会累加）
optimizer.zero_grad()

# 4. 反向传播：自动沿计算图算出每个参数的梯度
loss.backward()

# 5. 优化器根据梯度更新参数
optimizer.step()

这五行代码就是深度学习训练的最小心跳。模型微调、LLM 预训练、扩散模型训练……本质上都是这同一个循环跑几万到几亿次。

图 5 · 一次训练 step 的角色与信息流

07 · 微调（Fine-tuning）里的反向传播有什么不一样？

核心机制完全相同，但哪些参数参与反向传播会有变化。这是理解微调各种"花招"的关键。

三种典型微调形态

LoRA 中的 A、B 到底是什么？

上面表格里反复提到的 A、B 不是随便起的字母，它们是 LoRA 论文里定义好的两个低秩矩阵，是真正接收梯度、被优化器更新的"小参数"。一句话概括：

核心公式
原模型某层权重 W ∈ ℝ^(d×k)（冻结，不动）。
LoRA 新增旁路：ΔW = B · A，其中 A ∈ ℝ^(r×k)，B ∈ ℝ^(d×r)，秩 r ≪ min(d, k)（常见 4 / 8 / 16 / 32）。
前向时实际用的权重：W' = W + B·A（推理可合并，零额外延迟）。

形状直观对比

图 6 · LoRA 的旁路结构：原 W 不动，A、B 负责"补丁"

A、B 与原模型参数的本质区别

梯度怎么走到 A 和 B？

沿用第 04 节的链式法则。设某层输入为 x、上游传回来的梯度为 ∂L/∂h，则：

∂L/∂B = (∂L/∂h) · (A·x)ᵀ
∂L/∂A = Bᵀ · (∂L/∂h) · xᵀ
∂L/∂W = // 不计算，被冻结

反向传播照样要经过 W 那条路径取得 ∂L/∂h，但梯度只在 A、B 上"落地"。优化器只为 A、B 维护动量与方差，显存账单于是从"原模型 ×3"瞬间降到"A+B ×3"。这就是 LoRA 在 24GB 卡上微调 70B 模型的全部秘密。

类比
把原模型 W 想象成一本印好的字典——内容已经定型，不能改。LoRA 给你一张透明便利贴（B·A），贴在字典上，你只能在便利贴上写字（更新 A、B）。读这本字典的时候，会自动把便利贴的内容叠加到原文上读出。便利贴很小（低秩），但只要贴对位置，就能让字典"理解"你的新任务。

微调时调梯度的常见技巧

08 · 直觉总结：六句话记住整条链路

1. Loss 是一个标量，是模型当前表现的"总扣分"。
2. 反向传播 = 用链式法则把这一个标量的"责任"摊到每一个参数头上，得到梯度 g = ∂L/∂W。
3. 梯度有方向（应该增还是减）和大小（要改多猛）两层信息。
4. 优化器拿到梯度后，再叠加学习率、动量、自适应缩放、权重衰减，才得到真正写回参数的 ΔW。
5. 这个"前向 → loss → 反向 → 更新"的循环跑几百万次，就把一个随机初始化的模型变成了能干活的模型。
6. 微调的本质，是让梯度信号只作用在你想让它作用的那部分参数上——剩下的工程技巧（LoRA、冻结、裁剪、累积）都是围绕这一点展开的。

First Principle
记不住所有公式没关系。只要把这条链路想清楚——"打分 → 摊责任 → 改作业"——你就已经抓住了模型训练 95% 的本质。