从零手搓 · 番外
手搓 LLM 番外:四张 A4 纸,默写 GPTModel
不看书,用四张 A4 纸把 GPTModel 默写一遍。shape 对了就是理解,细节缺失是第二遍学习的正常状态。两周后再默一次,看进步。
不看书,用四张 A4 纸把 GPTModel 默写一遍。shape 对了就是理解,细节缺失是第二遍学习的正常状态。两周后再默一次,看进步。
第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。