第六章要把第五章那个会“续写”的 GPT-2 改造成一个二分类器。数据管道先把我拦了一次;6.1 到 6.5 学完后,Kimi 又用五道题验收了一遍;下午最后把 classify_review 跑到了真实的 spam / not spam。系列规则不变:写下来的必须是我自己搞懂的,没懂的如实写“没懂”。

一、这一章在做什么:把「续写」改成「判定」

第五章结束时,我手上是一个加载了 GPT-2 权重、能续写英文的模型。第六章不换架构、不重训主体,只换两样东西:输出层从 50257 维换成 2 维,训练目标从 next-token 预测变成类别判断。

这里要分清三件事:《The Verdict》是第五章的小规模预训练演示语料;GPT-2 权重是 OpenAI 预训练得到的参数起点;SMS 垃圾短信是第六章监督微调使用的数据。不是把 GPT-2 的训练语料从《The Verdict》换成 SMS。

微调分两类,这本书用两章各讲一种:第六章是分类微调(输出是一个类别标签),第七章是指令微调(输出还是文本,但变成听话的文本)。分类微调的损失函数还是交叉熵,区别在于只在某一个位置上算——这一处和第五章的差别,6.6 里已经看到,但还没有单独做问答验收。

这一篇覆盖 6.1 到 6.8:数据准备、DataLoader、换输出头、参数冻结、训练和最终推理。它本来该是全章最没戏剧性的部分,结果数据管道和推理脚本都留下了账。

二、SpamDataset:真正要盯住的是固定位置

SpamDataset 要做的事很清楚:把 CSV 里的短信逐条 tokenize,再统一长度。训练集传 max_length=None,让它自己找最长;验证集和测试集传 train_dataset.max_length,让它们沿用训练集的长度。

我自己手写时还把 is None 和 is not None 写反过一次,但那只是手快,不值得展开。真正需要留下的是:为什么训练集、验证集、测试集必须共享同一个 max_length。

分类微调取的是某个固定位置的输出。书上取最后一个位置;训练集最长是 120 个 token,取到的就是第 120 个。训练时模型只在这个位置上被优化过。验证集的长度一变,位置就跟着变,等于拿一个没训过的位置去评估。

另一个真正踩到的错误是列名大小写。数据集处理时做过一次 balanced_df["Label"].map({"ham": 0, "spam": 1}),所以 CSV 里的列名是 Label、值是 0 和 1。我写成了小写 label,取样本时报 KeyError。

三、drop_last:只作用在最后一个不满的 batch 上

DataLoader(train_dataset, batch_size=8, shuffle=True, drop_last=True)。我一开始不知道 drop_last 是什么,去问了一遍。

DataLoader 是按固定 batch_size 顺序切块的。样本总数不整除 batch_size 时,最后一块会短一截。drop_last=True 就是把最后这块不要了,False(默认)则照发。

第六章的数据是训练集 1045 条、验证集 149 条、测试集 300 条,batch_size = 8:

  • 训练集 1045 = 8 × 130 + 5,drop_last=True,最后那 5 条被丢,一轮 130 个 batch
  • 验证集 149 = 8 × 18 + 5,False,第 19 个 batch 只有 5 条
  • 测试集 300 = 8 × 37 + 4,False,最后一个 batch 4 条

所以它只在训练集那条 DataLoader 上有实际效果,影响的是 5 条样本。

训练用 True 的理由只有一个:让每个 batch 的形状恒定,训练循环里不会隔一阵冒出一个 (5, 120)。评估反过来必须是 False,因为评估的语义是在全部样本上算指标——丢掉最后一块,那 4 到 5 条样本就从头到尾没被评估过,而打印出来的依然是个正常的百分数,看不出少了样本。

有一个前提容易被忽略:drop_last=True 不丢数据,是因为同时开着 shuffle=True。被丢的那 5 条每轮都不一样,多轮下来全会轮到。如果哪天把 shuffle 关掉,drop_last=True 就变成永远丢掉同一批尾巴。

四、shuffle:它是一个参数,不是一个占位符

我一直以为 shuffle 是占位符。它不是。它只决定一件事:DataLoader 以什么顺序把样本切进 batch。

DataLoader 每轮迭代做三步:产出 index、用 index 去调 Dataset.__getitem__ 取样本、把这些样本拼成 batch。shuffle 管的是第一步。False 时 index 就是 0,1,2,3,...;True 时先对整个 index 列表做一次随机排列,再按这个顺序切。

两个容易搞错的点:

  • 打乱的是 index 的顺序,不是数据本身。 train_dataset.encoded_texts 一个字都没变,train_dataset[3] 永远返回第 3 条。我在 __init__ 里做的 tokenize、截断、padding 和 shuffle 完全无关。
  • 是每个 epoch 重新打乱一次,不是开头打乱一次。这也是上一节那个结论的前提。

为什么训练必须打乱

我用一个 24 条、按标签排好序的假数据集跑了一遍(前 12 条标签 0,后 12 条标签 1),batch_size=8:

  • shuffle=False 时,三个 batch 的标签依次是 [0,0,0,0,0,0,0,0]、[0,0,0,0,1,1,1,1]、[1,1,1,1,1,1,1,1]——有的 batch 全是同一类
  • shuffle=True 时,三个 batch 都是混着的

不打乱时,每个 batch 就不是“从总体里随机抽出的一小撮”,而是一个有偏样本。而 loss.backward() 给的是这个 batch 平均 loss 的梯度——mini-batch 的梯度要能代表总体,前提是它是随机抽的。

第六章的真实数据有同样的风险:作者在仓库讨论区里算过,spam 平均 41.67 个 token、ham 平均 19.85 个,标签和长度是相关的。CSV 一旦有系统性排序,不打乱就会让每个 batch 的长度和标签一起偏向一边。

还有一层是随机性本身的正则化效果(SGD 的噪声帮模型避开尖锐的极小值)。这一条是经验性的,不是定理,我先记下不下结论。

val 和 test 为什么是 False

我当时的总结是:True 就是随机顺序,False 就是原本的顺序,这解释了 train 用 True、val 和 test 用 False。前半句完全对,后半句要加一层。

我实测过:评估是对所有样本求和再除,和顺序无关。 同一个模型、同一批 149 条数据,shuffle 开和关,准确率一模一样(都是 0.550336),loss 只差在第三位小数——那是逐 batch 平均和逐样本平均的差别。

所以 val/test 用 False 不是“否则会算错”,而是两件更小的事:

  • 可比。 训练中每 50 步调一次评估,而 evaluate_model 只取前 5 个 batch。False 时这 5 个 batch 每次都是同一批样本,loss 的起伏只反映模型;True 时每次抽到不同的样本,我就分不清是模型在抖还是抽样在抖。
  • 可复现。 不引入随机性,就不用额外操心随机种子。

它是零成本的改进,所以选它——但它和训练那里的 shuffle=True 不是一个量级的事。

打乱的目的是让每个 batch 成为总体的无偏小样本(梯度估计问题),不是防止模型记住顺序(它没记忆);评估不打乱是为了同一批样本、每次可比,不是因为随机顺序会算错——准确率对顺序完全免疫。

五、两个开关,两个不相干的理由

shuffle 和 drop_last 恰好是同一个取值模式(训练都是 True,评估都是 False),但理由完全不相干:

  • shuffle:随机性只在训练里有价值(梯度无偏),评估要的是可比和可复现
  • drop_last:训练要形状恒定,评估要覆盖每一条样本

我差点把它总结成“训练要乱的、评估要齐的”。这种口号一旦成立,遇到下一个参数就会套错模板。同一个取值模式,不等于同一个原因。

六、五题验收:每个问题都漏了一点

6.1 到 6.5 看完后,我的体感是:第六章比第三、四、五章顺。于是我让 Kimi 出了五道题。答完以后发现,主线基本都抓住了,但每一题都有遗漏。这里按题目记录,专门留给以后回炉。

1. 换头不是「从 50257 压到 2」

Kimi 原题:

Q1:换头为什么就换了任务?

预训练时:

out_head = Linear(768, 50257)

分类微调时变成:

out_head = Linear(768, 2)

这两个输出数值分别代表什么?为什么把输出头从 50257 换成 2,就能让同一个 GPT 主体做垃圾短信分类,而不是继续预测 next-token?

另外,你之前猜过「保留 50257 个输出,只取 spam 和 ham 两个词」。和直接换成二分类头相比,这两种方案的本质区别是什么?

我一开始有三个说法不准确:把分类微调说成了无监督学习,把输出说成了概率,还把结构理解成“先得到 50257 个输出,再压缩成 2 个”。

修正后的理解是:

  • 训练数据包含文本和 label,所以分类微调是监督学习。map({"ham": 0, "spam": 1}) 只是把人已经标注好的类别转换成数字,不是模型在替训练数据分类。
  • 新输出头直接给出 ham 和 spam 的两个 logits,不是概率;softmax 之后才能解释成概率。
  • 旧输出头是 Linear(768, 50257),新输出头是 Linear(768, 2)。旧头被整个替换,不存在中间的 50257 维。
  • 0 和 1 哪个是 ham、哪个是 spam,由 label 编码决定。训练做的事情,是让正确类别对应的 logit 更高。

我之前说“二分类头类似掩盖住了其他词”,方向接近,但更准确的说法是:整个输出空间被换掉了。新头不再从词表里挑 token,而是直接学习两个类别的方向。

2. 欠采样裁的是多数类样本

Kimi 原题:

Q2:平衡数据集的代价是什么?

原始数据里正常短信远多于垃圾短信,书中通过减少多数类样本让两类数量相同。

  1. 如果不做平衡,模型可能学成什么样?
  2. 欠采样解决了问题,同时付出了什么代价?
  3. 为什么还需要独立的 validation 和 test,不能看 test 结果反复调方案?

这一题我只会说“为了让 0 和 1 数量一致”,没答出代价。

书中的多数类是 ham,少数类是 spam。欠采样就是从多数类里少取一些,让两边数量相同。这里裁掉的是样本条数,不是文本长度。

代价很直接:大量真实 ham 被丢掉,模型能看到的正常短信变少;留下哪些样本还会带来随机性。训练集被改成 50 : 50 以后,也不再等于真实世界的短信分布,所以模型输出的概率不能直接当成现实概率。

train、validation、test 的分工也重新钉了一遍:

  • train:计算梯度,更新参数
  • validation:不更新参数,用来选 epoch、调方案、early stopping
  • test:不参与任何选择,最后评估一次

独立划分不能保证不过拟合,只能帮助发现过拟合。反复根据 validation 调方案,也会逐渐过拟合 validation。

3. batch 形状和 padding,我答错了两处

Kimi 原题:

Q3:padding 和 max_length 到底做了什么?

假设训练集中最长文本编码后有 120 个 token,batch_size=8。

  1. 一个 batch 的 input_batch 和 target_batch 分别是什么 shape?
  2. 一条只有 35 个 token 的短信,进入 Dataset 后会发生什么?
  3. validation 里如果有一条 130 个 token 的短信,而 max_length 使用的是训练集的 120,又会发生什么?
  4. 为什么这里可以直接用 50256 填充?它原本是哪个特殊 token?

我一开始把 batch 的第一维写成了“训练样本数 / 8”。这是把批次数当成了每批样本数。

假设训练集有 N 条样本,batch_size=8、max_length=120:

批次数 ≈ N / 8
input_batch  = (8, 120)
target_batch = (8,)

target_batch 是 8 个正确类别编号,不是模型输出,也不需要写成 (8, 1)。

更大的错误是 padding。我以为 35 个 token 只需要补一个结束符,实际上会补齐到 120:

35 个 token + 85 个 50256 = 120 个 token

如果 validation 里有 130 个 token,而 max_length 使用训练集的 120,就会保留前 120 个,截掉最后 10 个。

50256 是 GPT-2 的 <|endoftext|>。这里复用它作为 pad_token_id,不是新造了一个 [PAD]。

4. padding 的最后位置为什么还能分类

Kimi 原题:

Q4:最容易被忽略的一问——为什么取最后一个位置?

假设一条真实文本只有 5 个 token,右侧 padding 到 8 个。分类时却使用:

logits = model(input_batch)[:, -1, :]

也就是取第 8 个位置,而不是真实文本的第 5 个位置。

这个 padding 位置凭什么能代表前面的真实文本?请结合因果掩码下每个位置能看见哪些 token 来解释。

再追问一句:如果换成双向注意力,「只有最后一个位置能看到完整前文」这个理由还成立吗?

这一题我答上来了:在因果掩码下,一个位置只能看到自己和它左边的 token,所以最后一个位置可以看见完整前文。即使最后位置是 padding,它的注意力计算也能覆盖前面的真实 token。

更精确地说,点积只是 Q 和 K 的打分;真正写入当前位置的是 softmax 之后对 V 的加权汇总,再经过多层 Transformer Block。最后一个位置的隐藏状态因此可以作为整段文本的上下文表示。

双向注意力是我遇到的新名词。它和因果注意力的区别是:

因果注意力:位置 i 能看 0 ... i
双向注意力:位置 i 能看 0 ... T-1

GPT 因为不能偷看未来,所以用因果注意力。双向注意力下,每个位置都能看到完整序列,「取最后一个位置」就不再是必须的选择。

5. 冻结参数:冻结更新,不冻结计算

Kimi 原题:

Q5:冻结参数到底冻结了什么?

书中先执行:

for param in model.parameters():
    param.requires_grad = False

然后又替换 out_head,并解冻最后一个 Transformer Block 和 final_norm。

  1. requires_grad = False 之后,这些参数还会参与前向计算吗?模型的输出会因此变成固定值吗?
  2. 冻结之后才创建的新 Linear(768, 2),默认会被训练吗?
  3. 为什么不只是训练新分类头,也不直接把整个模型全部解冻?「只训头部」「只解冻最后一部分」「全量微调」三种方案分别在拿什么交换什么?

requires_grad = False 的含义是参数仍然参与前向计算,但反向传播时不计算它的梯度,optimizer 也不更新它。

我一开始拿 top_k、温度和 multinomial 来证明输出不固定,这个理由错了。采样发生在得到 logits 之后,而且分类微调不调用 generate。输出仍可能变化,是因为输入不同、新分类头还在训练、model.train() 时 dropout 仍然生效。

冻结旧模型之后再创建新的 nn.Linear,新参数默认 requires_grad=True,所以新分类头会正常训练。

三种训练范围也重新分清了:

  • 只训分类头:也叫 linear probe。它不是没学分类,而是在冻结特征上学习一个分类边界。最省资源,但模型无法调整内部表示。
  • 训练最后一个 Block + final_norm + 分类头:让最高层表示向当前任务靠拢,是成本和适应能力之间的折中。
  • 全量微调:调整空间最大,但成本最高,也更容易在小数据上过拟合,甚至覆盖预训练学到的通用能力。

所以不能说全量微调“当然效果最好”。它只是可调空间最大,最终效果仍取决于数据量、训练成本和过拟合风险。

七、能跑不等于可复用:推理脚本留下的工程债

下午最后把 classify_review 跑通了,两个样例分别返回:

spam
not spam

这说明推理链路本身是对的:model.eval()、no_grad()、截断、padding、取最后一个位置、argmax、标签映射,全都接上了。

但 Kimi 看完代码后指出:这版是「验证能跑」的脚本,还不是可复用的分类器。后续要补齐的工程债先记在这里:

  1. max_length=None 会直接报错。 现在的代码会做 min(None, 1024),之所以没炸,是因为调用方固定传了 120。要么显式要求必填,要么提供明确的默认策略。
  2. max_length 大于上下文长度时会重新 pad 超界。 应该先算 effective_max_length = min(max_length, context_length),截断和 padding 都用这个值。
  3. max_length=120 和 1=spam 不应该硬编码。 它们属于训练产物,应该和 model_state_dict、模型配置一起保存进 checkpoint。否则以后重新训练,推理代码不会报错,只会悄悄用错。
  4. 加载模型和使用模型要拆开。 现在每调用一次 classify_review_with_state_model,就重新加载一次模型。批量推理时应该先 load_classifier 一次,再反复调用 classify_review。
  5. 推理时没必要先加载原始 GPT-2 权重。 checkpoint 里已经有完整的微调后参数,直接按配置创建模型、替换分类头、加载 state_dict 就够了。

后续补这件事的完成标准:

  • checkpoint 同时保存 config、max_length、label_map 和 model_state_dict;
  • 模型只加载一次,可以连续分类多条文本;
  • 推理不再依赖先下载 GPT-2 原始权重;
  • checkpoint 路径不依赖运行时目录;
  • 从任意目录运行,都能得到同一条分类链路。

今天先不改。能跑通是第六章的学习终点之一,可复用是下一步工程化。

八、如实记录:原来那个问题解决了

  • 原来留在这里的问题是“padding 和取最后一个位置叠在一起会怎样”。五题验收的第 4 题已经把它解决:padding 位置本身不聪明,聪明的是这个位置在因果掩码下拥有完整前文的信息入口。
  • 6.1 到 6.5 目前没有新的“没懂”,但有两个习惯要继续改:不要把 logits 直接说成概率;不要把批次数写进 batch 形状。
  • 6.6 到 6.8 已经跑通,但分类 loss、accuracy、训练循环和 classify_review 还没有做同样的五题验收,暂时只算「跑通过」,不算「验收过」。
  • 第三、四章的手写回炉不塞进今天,已经单独放到《学习回炉待办》。

九、三问式收尾

  1. 今天学了什么:SpamDataset 为什么必须共享固定位置、drop_last 和 shuffle 的真实职责、分类头输出的是两个类别 logits、欠采样的代价、batch 和 target 的真实形状、最后位置能分类的原因、requires_grad=False 的真实含义,以及一次完整的垃圾短信分类推理;
  2. 哪里还没懂:6.6 到 6.8 还没完成同样的问答验收,classify_review 也还没有达到可复用标准;
  3. 接下来干什么:先验收 6.6 到 6.8,再把推理脚本拆成「加载一次模型」和「重复分类文本」两步。

方法:数据管道部分我先写、先讲,DeepSeek 指错;6.1 到 6.5 由 Kimi 出题验收;6.6 到 6.8 我先跑通,再由 Kimi 做代码检查。学习时长待我自己补。