从零手搓M0~M6

2026 2 篇

10 月 2

从零手搓

手搓 LLM 笔记 04:把 GPT 拼起来

第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。