第六章要把第五章那个会“续写”的 GPT-2 改造成一个二分类器。数据管道先把我拦了一次;6.1 到 6.5 学完后,Kimi 又用五道题验收了一遍;下午最后把
classify_review跑到了真实的 spam / not spam。系列规则不变:写下来的必须是我自己搞懂的,没懂的如实写“没懂”。
一、这一章在做什么:把「续写」改成「判定」
第五章结束时,我手上是一个加载了 GPT-2 权重、能续写英文的模型。第六章不换架构、不重训主体,只换两样东西:输出层从 50257 维换成 2 维,训练目标从 next-token 预测变成类别判断。
这里要分清三件事:《The Verdict》是第五章的小规模预训练演示语料;GPT-2 权重是 OpenAI 预训练得到的参数起点;SMS 垃圾短信是第六章监督微调使用的数据。不是把 GPT-2 的训练语料从《The Verdict》换成 SMS。
微调分两类,这本书用两章各讲一种:第六章是分类微调(输出是一个类别标签),第七章是指令微调(输出还是文本,但变成听话的文本)。分类微调的损失函数还是交叉熵,区别在于只在某一个位置上算——这一处和第五章的差别,6.6 里已经看到,但还没有单独做问答验收。
这一篇覆盖 6.1 到 6.8:数据准备、DataLoader、换输出头、参数冻结、训练和最终推理。它本来该是全章最没戏剧性的部分,结果数据管道和推理脚本都留下了账。
二、SpamDataset:真正要盯住的是固定位置
SpamDataset 要做的事很清楚:把 CSV 里的短信逐条 tokenize,再统一长度。训练集传 max_length=None,让它自己找最长;验证集和测试集传 train_dataset.max_length,让它们沿用训练集的长度。
我自己手写时还把 is None 和 is not None 写反过一次,但那只是手快,不值得展开。真正需要留下的是:为什么训练集、验证集、测试集必须共享同一个 max_length。
分类微调取的是某个固定位置的输出。书上取最后一个位置;训练集最长是 120 个 token,取到的就是第 120 个。训练时模型只在这个位置上被优化过。验证集的长度一变,位置就跟着变,等于拿一个没训过的位置去评估。
另一个真正踩到的错误是列名大小写。数据集处理时做过一次 balanced_df["Label"].map({"ham": 0, "spam": 1}),所以 CSV 里的列名是 Label、值是 0 和 1。我写成了小写 label,取样本时报 KeyError。
三、drop_last:只作用在最后一个不满的 batch 上
DataLoader(train_dataset, batch_size=8, shuffle=True, drop_last=True)。我一开始不知道 drop_last 是什么,去问了一遍。
DataLoader 是按固定 batch_size 顺序切块的。样本总数不整除 batch_size 时,最后一块会短一截。drop_last=True 就是把最后这块不要了,False(默认)则照发。
第六章的数据是训练集 1045 条、验证集 149 条、测试集 300 条,batch_size = 8:
- 训练集
1045 = 8 × 130 + 5,drop_last=True,最后那 5 条被丢,一轮 130 个 batch - 验证集
149 = 8 × 18 + 5,False,第 19 个 batch 只有 5 条 - 测试集
300 = 8 × 37 + 4,False,最后一个 batch 4 条
所以它只在训练集那条 DataLoader 上有实际效果,影响的是 5 条样本。
训练用 True 的理由只有一个:让每个 batch 的形状恒定,训练循环里不会隔一阵冒出一个 (5, 120)。评估反过来必须是 False,因为评估的语义是在全部样本上算指标——丢掉最后一块,那 4 到 5 条样本就从头到尾没被评估过,而打印出来的依然是个正常的百分数,看不出少了样本。
有一个前提容易被忽略:drop_last=True 不丢数据,是因为同时开着 shuffle=True。被丢的那 5 条每轮都不一样,多轮下来全会轮到。如果哪天把 shuffle 关掉,drop_last=True 就变成永远丢掉同一批尾巴。
四、shuffle:它是一个参数,不是一个占位符
我一直以为 shuffle 是占位符。它不是。它只决定一件事:DataLoader 以什么顺序把样本切进 batch。
DataLoader 每轮迭代做三步:产出 index、用 index 去调 Dataset.__getitem__ 取样本、把这些样本拼成 batch。shuffle 管的是第一步。False 时 index 就是 0,1,2,3,...;True 时先对整个 index 列表做一次随机排列,再按这个顺序切。
两个容易搞错的点:
- 打乱的是 index 的顺序,不是数据本身。
train_dataset.encoded_texts一个字都没变,train_dataset[3]永远返回第 3 条。我在__init__里做的 tokenize、截断、padding 和shuffle完全无关。 - 是每个 epoch 重新打乱一次,不是开头打乱一次。这也是上一节那个结论的前提。
为什么训练必须打乱
我用一个 24 条、按标签排好序的假数据集跑了一遍(前 12 条标签 0,后 12 条标签 1),batch_size=8:
shuffle=False时,三个 batch 的标签依次是[0,0,0,0,0,0,0,0]、[0,0,0,0,1,1,1,1]、[1,1,1,1,1,1,1,1]——有的 batch 全是同一类shuffle=True时,三个 batch 都是混着的
不打乱时,每个 batch 就不是“从总体里随机抽出的一小撮”,而是一个有偏样本。而 loss.backward() 给的是这个 batch 平均 loss 的梯度——mini-batch 的梯度要能代表总体,前提是它是随机抽的。
第六章的真实数据有同样的风险:作者在仓库讨论区里算过,spam 平均 41.67 个 token、ham 平均 19.85 个,标签和长度是相关的。CSV 一旦有系统性排序,不打乱就会让每个 batch 的长度和标签一起偏向一边。
还有一层是随机性本身的正则化效果(SGD 的噪声帮模型避开尖锐的极小值)。这一条是经验性的,不是定理,我先记下不下结论。
val 和 test 为什么是 False
我当时的总结是:True 就是随机顺序,False 就是原本的顺序,这解释了 train 用 True、val 和 test 用 False。前半句完全对,后半句要加一层。
我实测过:评估是对所有样本求和再除,和顺序无关。 同一个模型、同一批 149 条数据,shuffle 开和关,准确率一模一样(都是 0.550336),loss 只差在第三位小数——那是逐 batch 平均和逐样本平均的差别。
所以 val/test 用 False 不是“否则会算错”,而是两件更小的事:
- 可比。 训练中每 50 步调一次评估,而
evaluate_model只取前 5 个 batch。False时这 5 个 batch 每次都是同一批样本,loss 的起伏只反映模型;True时每次抽到不同的样本,我就分不清是模型在抖还是抽样在抖。 - 可复现。 不引入随机性,就不用额外操心随机种子。
它是零成本的改进,所以选它——但它和训练那里的 shuffle=True 不是一个量级的事。
打乱的目的是让每个 batch 成为总体的无偏小样本(梯度估计问题),不是防止模型记住顺序(它没记忆);评估不打乱是为了同一批样本、每次可比,不是因为随机顺序会算错——准确率对顺序完全免疫。
五、两个开关,两个不相干的理由
shuffle 和 drop_last 恰好是同一个取值模式(训练都是 True,评估都是 False),但理由完全不相干:
shuffle:随机性只在训练里有价值(梯度无偏),评估要的是可比和可复现drop_last:训练要形状恒定,评估要覆盖每一条样本
我差点把它总结成“训练要乱的、评估要齐的”。这种口号一旦成立,遇到下一个参数就会套错模板。同一个取值模式,不等于同一个原因。
六、五题验收:每个问题都漏了一点
6.1 到 6.5 看完后,我的体感是:第六章比第三、四、五章顺。于是我让 Kimi 出了五道题。答完以后发现,主线基本都抓住了,但每一题都有遗漏。这里按题目记录,专门留给以后回炉。
1. 换头不是「从 50257 压到 2」
Kimi 原题:
Q1:换头为什么就换了任务?
预训练时:
out_head = Linear(768, 50257)分类微调时变成:
out_head = Linear(768, 2)这两个输出数值分别代表什么?为什么把输出头从 50257 换成 2,就能让同一个 GPT 主体做垃圾短信分类,而不是继续预测 next-token?
另外,你之前猜过「保留 50257 个输出,只取 spam 和 ham 两个词」。和直接换成二分类头相比,这两种方案的本质区别是什么?
我一开始有三个说法不准确:把分类微调说成了无监督学习,把输出说成了概率,还把结构理解成“先得到 50257 个输出,再压缩成 2 个”。
修正后的理解是:
- 训练数据包含文本和 label,所以分类微调是监督学习。
map({"ham": 0, "spam": 1})只是把人已经标注好的类别转换成数字,不是模型在替训练数据分类。 - 新输出头直接给出 ham 和 spam 的两个 logits,不是概率;softmax 之后才能解释成概率。
- 旧输出头是
Linear(768, 50257),新输出头是Linear(768, 2)。旧头被整个替换,不存在中间的 50257 维。 - 0 和 1 哪个是 ham、哪个是 spam,由 label 编码决定。训练做的事情,是让正确类别对应的 logit 更高。
我之前说“二分类头类似掩盖住了其他词”,方向接近,但更准确的说法是:整个输出空间被换掉了。新头不再从词表里挑 token,而是直接学习两个类别的方向。
2. 欠采样裁的是多数类样本
Kimi 原题:
Q2:平衡数据集的代价是什么?
原始数据里正常短信远多于垃圾短信,书中通过减少多数类样本让两类数量相同。
- 如果不做平衡,模型可能学成什么样?
- 欠采样解决了问题,同时付出了什么代价?
- 为什么还需要独立的 validation 和 test,不能看 test 结果反复调方案?
这一题我只会说“为了让 0 和 1 数量一致”,没答出代价。
书中的多数类是 ham,少数类是 spam。欠采样就是从多数类里少取一些,让两边数量相同。这里裁掉的是样本条数,不是文本长度。
代价很直接:大量真实 ham 被丢掉,模型能看到的正常短信变少;留下哪些样本还会带来随机性。训练集被改成 50 : 50 以后,也不再等于真实世界的短信分布,所以模型输出的概率不能直接当成现实概率。
train、validation、test 的分工也重新钉了一遍:
- train:计算梯度,更新参数
- validation:不更新参数,用来选 epoch、调方案、early stopping
- test:不参与任何选择,最后评估一次
独立划分不能保证不过拟合,只能帮助发现过拟合。反复根据 validation 调方案,也会逐渐过拟合 validation。
3. batch 形状和 padding,我答错了两处
Kimi 原题:
Q3:padding 和 max_length 到底做了什么?
假设训练集中最长文本编码后有 120 个 token,batch_size=8。
- 一个 batch 的
input_batch和target_batch分别是什么 shape?- 一条只有 35 个 token 的短信,进入 Dataset 后会发生什么?
- validation 里如果有一条 130 个 token 的短信,而
max_length使用的是训练集的 120,又会发生什么?- 为什么这里可以直接用 50256 填充?它原本是哪个特殊 token?
我一开始把 batch 的第一维写成了“训练样本数 / 8”。这是把批次数当成了每批样本数。
假设训练集有 N 条样本,batch_size=8、max_length=120:
批次数 ≈ N / 8
input_batch = (8, 120)
target_batch = (8,)
target_batch 是 8 个正确类别编号,不是模型输出,也不需要写成 (8, 1)。
更大的错误是 padding。我以为 35 个 token 只需要补一个结束符,实际上会补齐到 120:
35 个 token + 85 个 50256 = 120 个 token
如果 validation 里有 130 个 token,而 max_length 使用训练集的 120,就会保留前 120 个,截掉最后 10 个。
50256 是 GPT-2 的 <|endoftext|>。这里复用它作为 pad_token_id,不是新造了一个 [PAD]。
4. padding 的最后位置为什么还能分类
Kimi 原题:
Q4:最容易被忽略的一问——为什么取最后一个位置?
假设一条真实文本只有 5 个 token,右侧 padding 到 8 个。分类时却使用:
logits = model(input_batch)[:, -1, :]也就是取第 8 个位置,而不是真实文本的第 5 个位置。
这个 padding 位置凭什么能代表前面的真实文本?请结合因果掩码下每个位置能看见哪些 token 来解释。
再追问一句:如果换成双向注意力,「只有最后一个位置能看到完整前文」这个理由还成立吗?
这一题我答上来了:在因果掩码下,一个位置只能看到自己和它左边的 token,所以最后一个位置可以看见完整前文。即使最后位置是 padding,它的注意力计算也能覆盖前面的真实 token。
更精确地说,点积只是 Q 和 K 的打分;真正写入当前位置的是 softmax 之后对 V 的加权汇总,再经过多层 Transformer Block。最后一个位置的隐藏状态因此可以作为整段文本的上下文表示。
双向注意力是我遇到的新名词。它和因果注意力的区别是:
因果注意力:位置 i 能看 0 ... i
双向注意力:位置 i 能看 0 ... T-1
GPT 因为不能偷看未来,所以用因果注意力。双向注意力下,每个位置都能看到完整序列,「取最后一个位置」就不再是必须的选择。
5. 冻结参数:冻结更新,不冻结计算
Kimi 原题:
Q5:冻结参数到底冻结了什么?
书中先执行:
for param in model.parameters(): param.requires_grad = False然后又替换
out_head,并解冻最后一个 Transformer Block 和final_norm。
requires_grad = False之后,这些参数还会参与前向计算吗?模型的输出会因此变成固定值吗?- 冻结之后才创建的新
Linear(768, 2),默认会被训练吗?- 为什么不只是训练新分类头,也不直接把整个模型全部解冻?「只训头部」「只解冻最后一部分」「全量微调」三种方案分别在拿什么交换什么?
requires_grad = False 的含义是参数仍然参与前向计算,但反向传播时不计算它的梯度,optimizer 也不更新它。
我一开始拿 top_k、温度和 multinomial 来证明输出不固定,这个理由错了。采样发生在得到 logits 之后,而且分类微调不调用 generate。输出仍可能变化,是因为输入不同、新分类头还在训练、model.train() 时 dropout 仍然生效。
冻结旧模型之后再创建新的 nn.Linear,新参数默认 requires_grad=True,所以新分类头会正常训练。
三种训练范围也重新分清了:
- 只训分类头:也叫 linear probe。它不是没学分类,而是在冻结特征上学习一个分类边界。最省资源,但模型无法调整内部表示。
- 训练最后一个 Block +
final_norm+ 分类头:让最高层表示向当前任务靠拢,是成本和适应能力之间的折中。 - 全量微调:调整空间最大,但成本最高,也更容易在小数据上过拟合,甚至覆盖预训练学到的通用能力。
所以不能说全量微调“当然效果最好”。它只是可调空间最大,最终效果仍取决于数据量、训练成本和过拟合风险。
七、能跑不等于可复用:推理脚本留下的工程债
下午最后把 classify_review 跑通了,两个样例分别返回:
spam
not spam
这说明推理链路本身是对的:model.eval()、no_grad()、截断、padding、取最后一个位置、argmax、标签映射,全都接上了。
但 Kimi 看完代码后指出:这版是「验证能跑」的脚本,还不是可复用的分类器。后续要补齐的工程债先记在这里:
max_length=None会直接报错。 现在的代码会做min(None, 1024),之所以没炸,是因为调用方固定传了 120。要么显式要求必填,要么提供明确的默认策略。max_length大于上下文长度时会重新 pad 超界。 应该先算effective_max_length = min(max_length, context_length),截断和 padding 都用这个值。max_length=120和1=spam不应该硬编码。 它们属于训练产物,应该和model_state_dict、模型配置一起保存进 checkpoint。否则以后重新训练,推理代码不会报错,只会悄悄用错。- 加载模型和使用模型要拆开。 现在每调用一次
classify_review_with_state_model,就重新加载一次模型。批量推理时应该先load_classifier一次,再反复调用classify_review。 - 推理时没必要先加载原始 GPT-2 权重。 checkpoint 里已经有完整的微调后参数,直接按配置创建模型、替换分类头、加载
state_dict就够了。
后续补这件事的完成标准:
- checkpoint 同时保存
config、max_length、label_map和model_state_dict; - 模型只加载一次,可以连续分类多条文本;
- 推理不再依赖先下载 GPT-2 原始权重;
- checkpoint 路径不依赖运行时目录;
- 从任意目录运行,都能得到同一条分类链路。
今天先不改。能跑通是第六章的学习终点之一,可复用是下一步工程化。
八、如实记录:原来那个问题解决了
- 原来留在这里的问题是“padding 和取最后一个位置叠在一起会怎样”。五题验收的第 4 题已经把它解决:padding 位置本身不聪明,聪明的是这个位置在因果掩码下拥有完整前文的信息入口。
- 6.1 到 6.5 目前没有新的“没懂”,但有两个习惯要继续改:不要把 logits 直接说成概率;不要把批次数写进 batch 形状。
- 6.6 到 6.8 已经跑通,但分类 loss、accuracy、训练循环和
classify_review还没有做同样的五题验收,暂时只算「跑通过」,不算「验收过」。 - 第三、四章的手写回炉不塞进今天,已经单独放到《学习回炉待办》。
九、三问式收尾
- 今天学了什么:
SpamDataset为什么必须共享固定位置、drop_last和shuffle的真实职责、分类头输出的是两个类别 logits、欠采样的代价、batch 和 target 的真实形状、最后位置能分类的原因、requires_grad=False的真实含义,以及一次完整的垃圾短信分类推理; - 哪里还没懂:6.6 到 6.8 还没完成同样的问答验收,
classify_review也还没有达到可复用标准; - 接下来干什么:先验收 6.6 到 6.8,再把推理脚本拆成「加载一次模型」和「重复分类文本」两步。
方法:数据管道部分我先写、先讲,DeepSeek 指错;6.1 到 6.5 由 Kimi 出题验收;6.6 到 6.8 我先跑通,再由 Kimi 做代码检查。学习时长待我自己补。
评论