从零手搓M0~M6现代架构I0~I7

2026 3 篇

11 月 1

现代架构 · I5

手搓 LLM 笔记 27:I5 评估校准与回归基准自动化

I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。

10 月 2

从零手搓 · 番外

手搓 LLM 笔记 07-2:换底座,从 33.5 分的 GPT-2 到 86.5 分的 Qwen

上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。