关于这个系列
《从零构建大模型》给我的是零件:注意力、残差、归一化、损失函数、微调。这个系列要把零件装成整车——跟着 karpathy/nanochat 走一遍完整链路:训练 tokenizer、预训练、中间训练、SFT、评估、对话服务。
规则不变:写下来的必须是我自己搞懂的,没懂的如实写。立项书见《nanochat 立项书:从零件到整车》。
《从零构建大模型》给我的是零件:注意力、残差、归一化、损失函数、微调。这个系列要把零件装成整车——跟着 karpathy/nanochat 走一遍完整链路:训练 tokenizer、预训练、中间训练、SFT、评估、对话服务。
规则不变:写下来的必须是我自己搞懂的,没懂的如实写。立项书见《nanochat 立项书:从零件到整车》。