从零手搓 · M1
手搓 LLM 笔记 10:手写 BPE,从写不出来到甜点区
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
手搓 LLM 开启第二条分支:从零构建大模型(已完结)之外,新增 diy-llm 理论线。M1 自训 BPE,先把分词器这张图看懂。