今天的路线
上午把 RoPE 从概念讨论推进到独立实现,下午开始 M5 评估框架。
两件事看起来不相关,其实共享同一个工程习惯:不能只让代码跑一次成功,还要让它可验证、可恢复、可重复执行。
上午:独立 RoPE 模型闭环
为什么独立一个 package
旧 GPTModel 保留 GPT2 的可学习绝对位置编码和现有 355M 权重路径,不在同一个类里不断增加位置分支。
新版放在独立的 rope_gpt package 中:
rope_gpt/
├── rope.py # 频率、cos/sin、Q/K 旋转
├── layers.py # RoPE MHA + TransformerBlock
└── gpt.py # GPTModelRoPE
FFN 和 LayerNorm 复用旧实现;位置相关的 attention 和模型主干独立出来。
三个数学函数
compute_inv_freq 构造固定频率表:
θⱼ = base^(-2j / head_dim)
这里的 head_dim 是单个注意力头的维度,不是完整的 emb_dim。例如 768 维、12 个 head,每头 64 维,每头内部有 32 组二维向量。
compute_cos_sin 用外积计算每个位置、每组频率对应的角度:
freqs[i][j] = position_ids[i] × inv_freq[j]
apply_rope 使用与 nanochat 相同的前后半配对方式,对 Q/K 的最后一维做旋转,再拼接回原来的形状。
需要记住的边界:
- 标准 RoPE 没有可学习的位置参数,频率固定;
- 每组频率不同是为了覆盖不同尺度,不是每组属于不同 batch 或 head;
- 旋转保持 shape 和向量长度,但会改变点积,使点积能够感知相对位置;
- 每个二维旋转仍有周期,能计算更长位置不等于模型一定能泛化到更长上下文。
接入 MHA 与 KV cache
执行顺序:
W_query/W_key 计算当前 Q/K
→ 拆成注意力头
→ 根据 past_len 得到当前位置
→ 旋转当前 Q/K
→ 拼接历史 K/V
Q 是当前 forward 的局部变量,不需要持久化。当前 K 旋转后进入 present_kv;历史 K 已经按原位置旋转过,不能重复旋转。V 始终不做 RoPE。
Block 和 GPTModel 负责逐层透传 cache,generate 负责保存整组 cache 并在下一轮喂回去。
验收结果
- 位置 0 保持不变,旋转前后向量模长一致;
- 相同相对距离下点积一致,不同相对距离下点积会变化;
- 两层 RoPE 模型完整前向与逐 token cache 前向对齐,最大误差约
2.38e-07; - RoPE、旧模型、生成和 checkpoint 联合回归:
9 passed; - 复用原有 124M 预训练测试,只替换模型声明,train/val loss 持续下降;训练冒烟最后 val loss 约
8.915,BPB 约3.354。
这些结果证明 RoPE 模型能从零训练并正确接入现有工程,不证明它在当前小语料上已经优于绝对位置编码。
下午:M5 评估框架
现有代码已经有什么
eval/generate.py 中的 generate_responses 已经能批量生成并保存回答,但只在全部结束后写一次文件。
eval/judge.py 中的 score_entries 已经有初步的评分续跑能力:已有 score 的记录会跳过,并每隔若干条保存一次。
所以 M5 不是从零重写,而是补齐生成端、评分端和报告之间的完整契约。
为什么需要断点续跑
假设有 110 条测试数据,生成到第 100 条时进程中断。
如果只在全部完成后保存,磁盘上可能一条有效结果都没有,下次只能从第一条重新生成。
改为每条生成后立即保存:
第 1 条完成 → 写入 JSON
第 2 条完成 → 写入 JSON
……
第 100 条中断 → 前 100 条仍然保留
下次启动 → 跳过已有回答,从缺失位置继续
这里的“断点续跑”不是训练 checkpoint,也不是下载文件的断点续传,而是评估任务的中间结果可恢复。
目的不是让一次完整运行更快,而是避免重复消耗 GPU 时间和评委 API 额度,并允许随时人工检查中间结果。
当前新增函数
新增 generate_responses_resumable,与旧函数并存,便于对照。
当前状态:代码已编写,等待断点续跑测试,尚未标记为验收完成。
设计中的四个核心动作:
读取历史 JSON → 用 index 识别记录 → 跳过已有 model_response → 每条生成后立即保存
同一个输出文件必须对应同一模型和同一份测试数据,不能换模型后错误复用旧回答。
为什么继续使用 JSON 数组
当前评估只有百余条记录,继续使用带缩进的 JSON 数组:
- 人类打开即可阅读;
- 现有
score_entries不需要迁移; - 每条记录保存时全量重写,当前规模下开销可以忽略;
- 保留完整 instruction、input、参考答案和模型回答,方便抽查。
JSONL 的流式追加更适合更大的记录规模,暂时不把格式迁移变成 M5 的主线。
Python 细节:entry、JSON 与字典展开
entry 是 Python 字典,不是 JSON 文本
JSON 是文件中的文本格式。经过 json.loads 后,它变成 Python 的 list、dict 等对象。
循环中的:
for index, entry in enumerate(test_data):
这里的 entry 就是当前一条样本字典,通常包含:
{
"instruction": "任务要求",
"input": "可选输入",
"output": "参考答案",
}
**entry 不是指针
在字典字面量中,**entry 表示把原字典的键值对展开并合并:
new_entry = {
"index": index,
**entry,
"model_response": response,
}
它保留原样本字段,再添加编号和模型回答,与内存地址或指针无关。
简单记忆:
* → 展开列表、元组等可迭代对象
** → 展开字典的键值对
indent=4 与 ensure_ascii=False
json.dumps(responses, indent=4, ensure_ascii=False)
indent=4:按每层 4 个空格缩进,让 JSON 更适合人类阅读;ensure_ascii=False:中文直接写入文件,而不是变成\uXXXX转义;- 配合
encoding="utf-8",文件中的中文可以直接阅读; - 两者改变的是文件呈现,不改变 JSON 加载后的数据。
选择题评测:从字母标签到完整答案似然
下午后半段做了两种完全不同的选择题评估。20 道英文题由 DeepSeek 生成并人工检查,覆盖 3~5 个选项,A/B/C/D 的正确答案位置各出现 5 次。
第一种:比较 A/B/C/D 的 next-token logits
prompt 中包含完整选项:
Question: What is the capital of France?
A. Berlin
B. Paris
C. Madrid
D. Rome
Answer:
模型不需要自由生成,只取最后一个 prompt 位置的 logits,分别读取 " A"、" B"、" C"、" D" 对应 token id 的分数。
这里不需要为四个选项额外训练分类头。候选数量可以随 options 动态变化,其他词表 token 不影响 A/B/C/D 之间的相对排名。
数据里的 answer 保存从 0 开始的正确选项下标,不放进 prompt;A/B/C/D 是格式化时根据 options 的顺序添加的。
第一次结果:很像在蒙,而且主要在蒙 A
| 模型 | 原始准确率 | 打乱选项后准确率 |
|---|---|---|
| base | 30%(6/20) | 30%(6/20) |
| SFT | 25%(5/20) | 30%(6/20) |
原始测试中,base 有 19 次选择 A,SFT 也有 19 次选择 A。打乱选项、同步调整 answer 下标后,两者仍然各有 19 次选择 0 号选项。
打乱后正确答案位于 0 号的题目正好有 6 道,因此“永远选 A”本身就得到 6/20,即 30%。两个模型的总分都与这个位置基线一致。
这说明当前字母评估法主要测到的是第一个选项的偏好,不能直接把 25% 或 30% 解释成模型知识答题能力。base/SFT 相差一两道题,也不足以证明 SFT 损伤或提升了知识能力。
第二种:完整答案的条件对数似然
这次不再展示 A/B/C/D,prompt 只保留:
Question: 问题
Answer:
然后分别把每个完整 option 放到 Answer 后面,计算:
log P(候选答案 | 问题)
行业术语是 conditional log-likelihood scoring(条件对数似然评分),在固定候选的选择题中也可称 multiple-choice likelihood evaluation。
实验结果
| 模型 | 总 logprob 准确率 | 平均 logprob 准确率 |
|---|---|---|
| base | 50%(10/20) | 40%(8/20) |
| SFT | 60%(12/20) | 55%(11/20) |
完整答案评估显著高于字母评估,说明字母标签法确实埋没了模型已有的部分能力。但 50%~60% 也说明 355M 模型仍不稳定,不能把全部问题都归因于评估方法。
SFT 比 base 多答对 2~3 题,只是一个值得观察的小样本信号,不能推广成普遍结论。
本次最纠结的几个问题
把 option 放进输入,不是提前告诉模型答案了吗?
确实告诉了,但这是候选排序,不是自由作答。
四次评分分别构造四个独立输入:
Question + Answer: Berlin
Question + Answer: Paris
Question + Answer: Madrid
Question + Answer: Rome
模型没有被要求判断“这段话对不对”,也没有自由生成答案;我们只是比较它认为哪个候选更像自然续写。
因此这里的 60% 不能解释成“自由回答正确率 60%”,只能解释为“在固定候选中,有 60% 的题目把正确答案排到了最高似然”。
这是不是生成回答后查找答案关键词?
不是。关键词匹配需要先自由生成,再检查文本中是否出现答案,容易被否定句或无关提及误导。
本次使用 teacher forcing:把候选答案的真实 token 放进输入,读取模型对每个目标 token 的预测分数。整个过程不生成自由文本,也不做字符串包含匹配。
一个 token 的 logits 不是一个 next-token 分数吗?
不是。每个位置的 logits 是整个词表上的分数向量,形状为 (vocab_size,)。
以“吕炘嵘性别是”为 prompt、“男”为候选答案为例:
行:prompt 最后一个 token“是”所在的位置
列:“男”对应的 vocab token id
值:log P(男 | 吕炘嵘性别是)
所以是拿“男”的 token id,回到“是”所在位置的 logits 向量中,取出“男”对应的那一项分数。
代码中的 gather 就是在批量完成“每个答案位置取目标 token 对应列”的动作。
为什么不能直接取完整输入的 logits[:, -1, :]?
候选答案已经拼进完整输入后,最后一个位置预测的是“候选答案之后”的 token,不是候选答案本身。
若 prompt 长度为 P、答案有 A 个 token,则需要从 P - 1 开始取 A 个位置:
start = len(prompt_ids) - 1
answer_logits = logits[:, start:start + len(continuation_ids), :]
第一个位置预测答案首 token,后续位置依次预测后续答案 token。
多 token 答案怎样评分?
候选答案先被完整编码为任意数量的 token。一次模型前向后,读取每个答案 token 的条件 logprob,再求总和或平均值:
sum_logprob = 整段答案的 logprob 之和
mean_logprob = sum_logprob / token 数量
Paris 只有一个 token,所以它的 sum 和 mean 都是约 -4.039。base 对其他候选的分数约为 -9、-10,说明它其实明确倾向 Paris,只是不善于把这个倾向映射成字母 B。
总和与平均为什么给出不同答案?
总 logprob 容易偏向短答案;平均 logprob 会改变长度影响,但也可能给多 token 候选额外优势。
例如“非洲最长河流”:
Zambezi:总约 -5.42,平均约 -1.81
Nile: 总约 -4.05,平均约 -4.05
平均法选择了多 token 的 Zambezi,但总 logprob 法选择了正确答案 Nile。日本首都题中,平均法也偏向了多 token 的 Hanoi,而总 logprob 法选择了 Tokyo。
因此两种指标都应保留,不能把任何一种当成绝对公正的长度归一化。
对 M5 的方法论更新
选择题准确率不能脱离以下信息单独解读:
- 预测标签分布,防止“永远选 A”被误认为能力;
- 选项顺序对照,识别位置偏好;
- 候选答案的总/平均 logprob,观察长度偏差;
- 自由生成、候选排序和外部评委,分别说明不同能力,不能混为一个分数。
M5 的价值不是尽快拿到高分,而是知道一个分数到底测量了什么,以及它在哪些情况下不可信。
自由生成闭环:从一次脚本到可恢复评估
M5 第二天补齐了自由生成评估的工程链路:
加载 SFT 权重
→ 切分 held-out test
→ generate_response_resumable 生成回答并逐条落盘
→ score_entries 调用 DeepSeek 评分并跳过已有分数
→ build_score_summary 汇总统计
→ save_score_report 保存 summary + items 的 JSON 报告
生成端和评分端都可以中断后继续。第二次运行生成函数时,已有 model_response 的记录会全部跳过;测试中还通过 mock 禁止重复调用生成函数,确认续跑不是仅靠结果相同来判断。
同时修复了两个输出细节:entry 自带的旧 index 不再覆盖当前编号,回答末尾的 <|endoftext|> 文本也会被清理。
M5 全量 110 条验收
最终使用同一批 110 条 held-out test 完成生成、DeepSeek 评分和结构化 JSON 报告。
汇总结果:
total: 110
valid_scores: 110
mean: 30.9
median: 0
min / max: 0 / 100
p10 / p90: 0 / 100
分数分布:
| 分数区间 | 数量 |
|---|---|
| 0 | 60 |
| 1~20 | 4 |
| 21~40 | 12 |
| 41~60 | 9 |
| 61~80 | 2 |
| 81~100 | 23 |
均分 30.9 与此前 31.2 基线接近;中位数为 0,说明回答仍然明显两极分化。这个分数用于记录当前 SFT 模型行为,不用于证明模型能力突然提升。
报告文件:data/instruct/m5-report-sft-110.json,包含完整汇总与逐题明细,不再只把统计打印到终端。
相关回归与 M5 收官
相关回归共 17 passed,覆盖:
- 旧 GPTModel 前向与生成;
- checkpoint 保存和恢复;
- RoPE 数学性质与 cache 对齐;
- 选择题、选项打乱和完整答案似然;
- 评分解析、统计及 JSON 报告。
110 条全量报告不需要为了回归重复调用 DeepSeek;代码回归与全量评估分别验收。
至此,M5 的选择题评估、自由生成评分、断点续跑、结构化报告和相关回归均已完成。后续权重空间编程实验独立记录在笔记 15,不作为 M5 的阻塞项。
评论