现代架构 · I1
手搓 LLM 笔记 18:I1,让语料从文本流向可训练数据
从博客源文档清单、最小清洗和 JSONL,到 uint32 token 文件、np.memmap、训练冒烟、BPB 与 Scaling 测算;重点不是训练大模型,而是把数据如何进入模型这条链路打通。
从博客源文档清单、最小清洗和 JSONL,到 uint32 token 文件、np.memmap、训练冒烟、BPB 与 Scaling 测算;重点不是训练大模型,而是把数据如何进入模型这条链路打通。