现代架构I0~I7

2026 2 篇

11 月 2

现代架构 · I4

手搓 LLM 笔记 25:I4 DPO 偏好优化

DPO 起步实录:理解 chosen / rejected、序列 logprob、参考模型、score 与 loss,完成偏好数据、模板编码审计和单步更新。记录梯度裁剪对 Adam 整体缩放不敏感,以及 LR=1e-7 的温和更新;批量 DPO 训练尚未开始。

现代架构 · I4

手搓 LLM 笔记 24:I4 思维链 CoT-SFT

从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发,完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化,以及最终答案未超过原始模型的边界。