从零手搓 · M4
手搓 LLM 笔记 13:SFT,从续写机到指令跟随
355M 全参 SFT 冒烟与 base/SFT 行为对照:base 全是 0 分,SFT 开始按模板回答。从续写机到指令跟随,M4 的核心证据。
355M 全参 SFT 冒烟与 base/SFT 行为对照:base 全是 0 分,SFT 开始按模板回答。从续写机到指令跟随,M4 的核心证据。
KV cache 是推理优化:历史 K/V 存下来复用,每步只算新 token。三层分工、首轮全量后续单步、位置偏移与位置溢出三个坑,验收输出一致且提速 40%。
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。