现代架构 · I4
手搓 LLM 笔记 26:I4 后训练收官
I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。
I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。
附录 D+E 联合作战:在 355M 上手写 LoRA。一份没训练就拿到 32 分的假结果、一条 warmup 平方的 bug、四轮剂量扫描、一次平台期判决,和最后 merge 验收时抓到的双重计数。
上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。