从零手搓 · M1
手搓 LLM 笔记 10:手写 BPE,从写不出来到甜点区
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
手搓 LLM 开启第二条分支:从零构建大模型(已完结)之外,新增 diy-llm 理论线。M1 自训 BPE,先把分词器这张图看懂。
Tokenizer、BPE、Embedding、位置编码。十几页看了一个半小时,python 不熟、线代还给老师了,但搞懂的瞬间都值了。