目标本来是「把手写 LoRA 跑通」,结果跑成了一整天的实验课:先被一份没训练的假结果骗了,再扫出完整的剂量曲线,最后在 merge 验收里抓到双重计数。系列规则不变:写下来的必须是我自己搞懂的,翻车的地方如实写。
一、假 LoRA 事件:没训练也能拿 32 分
我先交代流水线:ch07_5.py 训练 → ch07_7.py 生成测试回答 → generate_model_scores.py 用 DeepSeek 打分。
我在 07 里加了 replace_linear_with_lora,跑出 32.3 分,和全参数的 33.5 几乎一样,当时还挺高兴:「LoRA 用 1/150 的参数打平全参数」。
Kimi 翻了代码之后发现:07 里根本没有训练循环——加载 checkpoint、冻结、包 LoRA、直接生成评估。而 LoRA 的 B 矩阵是零初始化,adapter 对模型行为的贡献严格为零。所以 32.3 就是原来那个 33.5 的模型穿了件马甲。
三组分数一模一样,不是因为 LoRA 打平了全参数,是因为那一组实验压根没发生。
这条教训钉死:结果完美符合「无差异」时,先怀疑实验是否真的发生了。仪器没坏,是实验没做。
二、顺带曝光的两个 bug
1. warmup_steps 被平方了。
warmup_steps = int(0.2 * total_steps * total_steps) # 错
warmup_steps = int(0.2 * total_steps) # 对
warmup 步数变成天文数字,整个训练一直活在 warmup 里,cosine 衰减从未生效。所以之前那组「调度三件套在短跑里无效」的结论作废——那不是一次有效的调度实验,是一次「全程低 lr」实验。
2. 基线 checkpoint 被覆盖。
原始 SFT 权重和后续实验共用同一个路径 gpt2_355M_instruct.pth,基线被后续运行覆盖。教训:checkpoint 命名必须带语义,只增不删。
三、真·LoRA 首轮:5e-5 的欠训判决
把 LoRA 接进 05 的训练路径(replace_linear_with_lora 在 optimizer 之前;optimizer 只接 requires_grad 的参数):
Total trainable parameters before: 406,286,336
Total trainable parameters after: 7,898,384 ← 1.9%
峰值 lr 5e-5、2 epoch 的结果:
- val loss 停在 0.935(全参数 0.62)
- 评委打分 14.1,84 个 0 分(全参数 33.5 / 58 个)
- 样例把原句复读一遍——格式学了半个,变换没学会
判决:欠训。LoRA 的可训练参数少、梯度信号稀疏,lr 惯例要比全参数大 1~2 个数量级,5e-5 太温柔。
四、剂量曲线:四轮扫描
一次只改一个变量,同评委、同 110 条测试集:
| 配置 | 均分 | 0 分 | val loss |
|---|---|---|---|
| LoRA 5e-5, 2ep | 14.1 | 84 | 0.935 |
| LoRA 1e-4, 2ep | 16.4 | 79 | 0.866 |
| LoRA 2e-4, 2ep | 21.9 | 72 | 0.811 |
| LoRA 2e-4, 4ep | 23.9 | 70 | 0.739(已走平) |
| 全参数, 2ep | 33.5 | 58 | 0.62 |
每一步都有效,但收益递减(+2.3 → +5.5 → +2.0),val loss 在 0.74 走平。继续推 rank 或 epoch 还能挤几分,改变不了格局。
插曲:第一轮 4 epoch 跑完发现 num_epochs 忘了改,白跑一次。实验纪律加一条:改完配置先确认再跑。这种重复劳动就是 sweep runner(配置表驱动、自动 train/generate/score)存在的理由,已记入工程债。
五、平台期判决:结局 B
开跑之前 Kimi 预告了两种结局:A 是 LoRA 追平全参数,B 是 LoRA 的平台期低于全参数。数据落在 B。
这不是 LoRA 的失败,是定位澄清:LoRA 的价值是「让不可能变可能」,不是「让小局变更优」。 355M 全参数本来就训得动,LoRA 没有非赢不可的理由;Qwen 实验里它打过真正的仗——1.5B 模型全参数训练在 12G 显存里塞不下优化器状态,LoRA 是唯一能开工的方式。
另一个量化感受:LoRA 训练 2.2 分钟,全参数 2.75 分钟,只快 20%。冻结只是不更新,前向反向照样穿过全部权重——LoRA 省的是显存,不是计算。
六、merge 验收:先抓双重计数,再证数学等价
最后一关:把训练好的 ΔW 折叠回 W,验证「并联小路」和「权重更新」严格等价。
module.linear.weight += (alpha / rank) * (A @ B).T
第一跑:最大差异 32.6。原因:合并后 LoRA 路径还开着,linear(x) + lora(x) 把 ΔW 算了两遍。merge 是搬家不是复制——搬完必须给旧路径断电:
module.lora.B.zero_() # 搬家完毕,旧路径关闭
第二跑:最大差异 9.16e-05,浮点误差级。等价性亲手证完,附录 E 正式画句号。顺带一提:32.6 这个「失败」反而是 LoRA 真训练过的证据——没学出权重的话,双重计数也差不出这个量级。
七、工程债(M0 的动机清单)
今天改一行配置要懂三个文件(训练/评估/打分互相 import、路径写死、optimizer 藏在流程中间),「没有工程化,改起来好麻烦」——这些痛点全部转化为 lvllm 重写(笔记 08)的需求:
- checkpoint 标准化:语义命名、只增不删、adapter 单独存
- sweep runner:配置表驱动,train/generate/score 一条龙
- 训练/评估/打分解耦,配置集中
一句话总结
结果出来了和实验发生了,是两回事——这是今天最贵的一句话,其余都是注脚。
评论