这篇是 I4 的收官汇总,承接:

I4 的主干已经走通:多轮数据契约、SFT、CoT-SFT、DPO、LoRA / 全参对照、RLVR / GRPO 最小更新、同题规则对照和真实 Web UI 回归。

但“里程碑收官”不等于“所有模型能力目标都已达成”。本轮最重要的结论仍然是:后训练会重新分配模型行为,loss 下降与能力改善不是同一件事。

一、I4 最终交付清单

已完成:

I4-A:多轮 Assistant-only mask、模板编码、Dataset、Batch padding、行为基线
I4-B:多轮 SFT、能力回退分析、训练量干预、LoRA / 全参对照
I4-C:CoT 数据契约、历史 CoT 可见性修复、三组 peak_lr 对照、严格格式验收
I4-D:DPO 指标、单步更新、偏好数据、16 个 Batch 训练与行为评估
I4-E:RLVR 分层奖励、组内优势、一次序列级 GRPO 更新与行为回归
总验收:同一 CoT 评测集对照、规则 win / tie / loss、30 项相关测试、真实 Web UI 多轮回归

I5 的 LLM 评委校准、偏见检查和自动化 CI 尚未开始。

二、DPO 批量训练:优化目标实现,整体正确率未提升

1. 训练配置与过程

DPO 使用 32 条训练偏好对、8 条验证偏好对,四种 rejected 类型均衡分布:

verbose_correct
verbose_wrong
repetition
malformed

正式训练配置:

batch_size = 2
max_steps = 16
beta = 0.1
learning_rate = 1e-7
grad clip = 1.0
参考模型只预计算一次 logprob
policy 从原始 Qwen3-0.6B Instruct 开始

训练结果:

val loss: 0.628564 → 0.155683
val score:1.3776 → 22.8115
checkpoint reload:passed

这说明 DPO 的偏好优化目标确实被实现了。

2. 行为结果

指标 原始模型 DPO v1
最终答案正确 30/32 29/32
完整 CoT 32/32 32/32
数值更新 15/16 14/16
单轮算术 15/16 15/16
自然结束 32/32 32/32

输出长度与推理质量:

指标 原始模型 DPO v1
平均生成 tokens 163.1 153.2
中位生成 tokens 146 134.5
最大生成 tokens 430 317
推理算式错误 2 1

所以 DPO v1 的输出有所缩短,推理算式错误减少,但最终答案正确率没有超过原始模型,数值更新还出现一处回退。

准确结论是:DPO 的 score / loss 优化链路成立,但当前合成偏好数据与配置没有带来整体行为提升。

三、LoRA vs 全参数:效率明显占优,绝对效果并非全面更好

LoRA 使用与非 CoT 全参数 v2 相同的 128 + 32 数据、32 steps、batch=4、peak_lr=1e-5。

rank = 8
alpha = 16

核心对照:

指标 全参数 v2 LoRA r8 / α16
可训练参数 全部参数 6,269,952(约 1.05%)
存档大小 2,384,324,167 bytes 25,204,363 bytes
最终 full val loss 1.021104 1.997782
独立行为验证 30/32 29/32
名字记忆 7/8 8/8
偏好记忆 8/8 8/8
数值更新 7/8 6/8
单轮算术 8/8 7/8

adapter 约为全参数 checkpoint 的 1/95,行为只少通过一条,名字记忆还少一处回退。

因此:

  • 追求当前评测集最高分,全参数 v2 略占优;
  • 追求接近的行为表现与更低的训练、存档成本,LoRA 明显更有性价比;
  • 不能推广成“LoRA 总是更好”或“rank=8 是最佳配置”。

LoRA 的 val loss 更高、行为却接近全参数,也再次说明 loss 不能直接替代行为验收。

四、RLVR + GRPO:从可验证奖励到一次组相对更新

1. 两个概念的位置

RLVR 与 GRPO 不在同一层:

  • RLVR 决定奖励从哪里来;
  • GRPO 决定拿到奖励以后怎样更新模型。

GRPO 对同一 Prompt 采样一组回答,用组内平均奖励与标准差构造相对优势,再进行策略优化。RLVR 则可以与 GRPO、PPO 或其他策略优化算法组合,不是 GRPO 的专属组件。

RLVR 的完整含义

RLVR 全称是 Reinforcement Learning with Verifiable Rewards,可验证奖励的强化学习。

它的核心不是“奖励数字长什么样”,而是:回答是否正确,可以由明确、可执行的验证器判断。

例如:

数学:最终数值是否等于标准答案
代码:是否编译通过、单元测试是否通过
结构化输出:是否符合指定 JSON Schema
对话协议:思考标签是否完整、是否正常结束

在本轮算术任务里,验证器不需要人工打分,也不调用 LLM 评委,而是直接解析回答并比较最终数字。

它与 SFT、DPO、传统 RLHF 的区别

方法 学习信号
SFT 模仿给定的标准答案
DPO 同一 Prompt 下,Chosen 相对 Rejected 更受偏好
传统 RLHF 常由人工偏好训练奖励模型,再进行强化学习
RLVR 由程序规则、编译器、测试或其他可执行验证器直接给奖励

因此,RLVR 的优势是奖励口径明确、可重复执行,特别适合数学、代码和结构化输出任务。它并不要求先构造 chosen / rejected 偏好对,而是可以在采样后对当前模型的回答直接验收。

为什么本轮需要分层奖励

第一版只使用二值奖励:完整 CoT、答案正确、纯数字格式同时满足才给 1,否则全部为 0。

实际采样中出现了:

  • 有些回答已经算出正确数值,但最终写成了完整算式,而不是纯数字;
  • 有些回答不断自我怀疑,直到长度上限也没有结束。

如果全部给 0,验证器就无法区分“完整但格式不完美”和“根本没有答完”,组内也没有学习差异。

因此本轮使用 shaped reward v2:

1.0:完整 CoT + 数值正确 + 纯数字答案
0.7:完整 CoT + 数值正确,但最终格式不完美
0.1:完整 CoT,但答案错误
0.0:结构不完整、截断或无法验收

这个设计不是降低正确答案标准:纯数字且正确的回答仍然获得最高奖励。部分奖励只是为了让模型先学习“完成一个可验证的回答”,再逐步改善格式与正确性。

RLVR 的边界与风险

可验证不等于所有重要质量都能被验证:

  • 数学最终答案正确,不代表中间推理一定正确;
  • 代码通过部分测试,不代表没有隐藏缺陷;
  • JSON 可以解析,不代表字段语义符合业务意图;
  • 结构完整,不代表回答自然、简洁或没有无关内容。

奖励设计还可能产生 reward hacking:模型可能学会迎合验证器,而不是真正改善任务能力。例如只输出高频正确答案、牺牲推理过程,或利用验证器没有覆盖的格式漏洞。

因此 RLVR 实验必须同时保留:

验证器本身的正确性测试
奖励组成与版本记录
独立行为评测
对推理过程和最终答案的分别检查
对 reward hacking 与意外行为的观察

本轮的 shaped reward v2 只适用于当前受控算术实验,不能当成通用奖励设计,也不能与之前二值奖励的结果混为同一口径。

2. 实际样本组与优势

从 CoT-SFT v2 采样得到:

rewards    = [0.7, 0.0, 0.0, 0.7]
advantages = [1.0, -1.0, -1.0, 1.0]
mean reward = 0.35
std reward = 0.35
has_learning_signal = true

两条完整但格式不完美的回答获得正优势,两条截断回答获得负优势。

3. 最小序列级 GRPO 更新

配置:

group_size = 4
optimization_steps = 1
epsilon = 0.2
learning_rate = 1e-7
grad clip = 1.0
reference KL = 未加入

更新结果:

before loss = 0
before mean ratio = 1.0
after loss = -0.20000002
after mean ratio = 3.06
grad norm before clip = 2379.9329
checkpoint reload = passed

逐响应 ratio:

正优势:9.248458、2.639478
负优势:0.224003、0.128063

方向符合预期,但多个 ratio 已超出 [0.8, 1.2],说明更新仍然激进,不能把 loss 和 ratio 变化直接当成稳定训练的证据。

4. 更新后的行为回归

指标 CoT-SFT v2 GRPO 单组更新
最终答案正确 29/32 30/32
完整 CoT 32/32 32/32
数值更新 16/16 16/16
单轮算术 13/16 14/16
自然结束 32/32 32/32

本次更新没有造成即时行为崩溃,最终正确率与原始模型持平。但它只有一组、一次更新,且未加入参考模型 KL,不能据此宣称 GRPO 已稳定提升模型。

五、同一 CoT 评测集上的最终对照

以下结果均来自同一 32 条 CoT 样本,不跨数据集比较通过率:

模型 答案正确 完整 CoT 综合通过 平均 tokens 中位 tokens 最大 tokens
原始模型 30 32 30 163.1 146 430
CoT-SFT v2 29 32 29 139.4 120 278
DPO v1 29 32 29 153.2 134.5 317
GRPO 单组更新 30 32 30 141.7 120 376

可以看到不同方法优化的是不同侧面:

  • 原始模型最终正确率最高,但输出偏长;
  • CoT-SFT v2 最短,但正确率没有超过原始模型;
  • DPO 有适度缩短,整体正确率仍未提升;
  • GRPO 本次恢复到 30/32,但实验规模不足以证明稳定收益。

六、同题规则 win / tie / loss

为避免只比较总通过率,又按同一题的 passed 做了规则评委对照:

对照 左侧胜 左侧负 平局
原始 vs CoT-SFT 2 1 29
原始 vs DPO 1 0 31
原始 vs GRPO 1 1 30
CoT-SFT vs DPO 2 2 28
CoT-SFT vs GRPO 0 1 31
DPO vs GRPO 1 2 29

报告同时记录:

win_rate_all = wins / 全部题目数
decisive_win_rate = wins / (wins + losses)

这些只是当前 32 条样本上的规则评委胜率,不是经过 I5 校准的 LLM 评委结果,也不能扩大为通用模型排名。

七、真实 Web UI 多轮回归

最后给 chat_server.py 增加 LVCHAT_CHECKPOINT,在真实页面加载训练后的模型,关闭 thinking,连续输入:

第一轮:我叫小吕。
第二轮:那我叫什么?

1. 非 CoT SFT v2

页面结果为:

第一轮 Assistant:你叫小吕。
第二轮 Assistant:你叫小吕。

第二轮包含正确名字,但两轮 Assistant 完全同文。多轮记忆内容正确,非同文复制验收未通过。

2. GRPO 单组更新 checkpoint

页面结果为:

第一轮 Assistant:你好,小吕!我是你的助手,有什么可以帮助你的吗?
第二轮 Assistant:我叫小吕,很高兴认识你!有什么我可以帮你的吗?

这次第二轮包含正确名字,且没有复制第一轮,TURN=02、SSE 状态正常。按预先设定的“历史信息正确 + 非精确复制”两项标准,可以记为通过。

但第二轮使用“我叫小吕”,存在说话视角混淆,表达自然性仍需改进。

因此当前 Web UI 结论是:

  • 非 CoT SFT v2 暴露了同文复制;
  • GRPO checkpoint 提供了一条记忆正确、非精确复制的可用路径;
  • 多轮表达质量并未完美;
  • 本次验收针对当前 V4 / Qwen3 Web UI,不代表 M6 的旧 355M 模型已重新测试和修复。

八、相关回归

实际运行:

tests/test_chat_sft.py
tests/test_i4_behavior_baseline.py
tests/test_chat_session.py
tests/test_qwen3

30 passed in 1.81s

此外,DPO 偏好数据审计、CoT 数据审计、checkpoint / adapter reload、DPO 训练、LoRA 训练和 GRPO 更新均由真实命令执行。

九、I4 最终结论

1. SFT 很容易学会形式,但可能重新分配甚至破坏能力

格式、模板和局部行为可以快速改变;最终答案、旧能力和开放域表现不一定同步改善。

2. 数据质量与 eval 必须同时设计

数据质量决定能学到什么,eval 决定能否看见收益、退化和未被直接训练的行为。只强调任何一个都会出问题。

3. loss 只是训练目标的代理指标

SFT、DPO、GRPO 中都出现了 loss 或 score 改善,但行为没有同步提升的情况。必须保留独立行为基线与能力保持集。

4. 不同方法的价值不能只用一个分数判断

  • CoT-SFT v2 输出更短;
  • DPO 学到了偏好差值并适度缩短输出;
  • LoRA 用约 1% 参数取得接近全参数的行为;
  • GRPO 完成了可验证奖励驱动的最小更新;
  • 原始模型在最终答案正确率上仍很强。

这不是一个“谁彻底打败谁”的故事,而是不同目标、成本和副作用之间的取舍。

十、I4 停止边界与 I5 衔接

I4 可以按学习里程碑收官,但必须保留:

  • 所有实验都基于小模型与受控合成数据;
  • DPO 偏好数据不是人工标注;
  • GRPO 只有一组、一次更新,未加入参考 KL;
  • LoRA 只测试 rank=8、alpha=16 和当前固定配置;
  • Web UI 多轮表达仍存在视角混淆;
  • M6 旧 355M 模型未重新回归;
  • 规则胜率不是校准后的 LLM 评委胜率。

下一阶段 I5 将处理评估校准、位置与长度偏见、多评委一致性和自动化回归门禁。I4 已经证明:没有可信 eval,就无法判断后训练到底是在提升,还是在更隐蔽地破坏。

附:留给未来回顾的独立复现任务(非里程碑)

I4 的实验主干已经收官,但这不等于我已经熟练掌握后训练。

当前更真实的状态是:我建立了 SFT、CoT-SFT、DPO、LoRA、RLVR / GRPO 的基本概念坐标,亲手跑过训练、生成与评估链路,也看到了 loss、优化目标和真实行为之间的差异。但 I4 的大部分实现代码由 Kimi 提供,我主要通过复制、阅读、运行、排障和实验分析参与,独立实现能力尚未被充分验证。

复制代码本身不等于没有学习。基线设计、指标修正、失败样例分析、训练干预和回退定位都是真实参与,但它们不能替代独立实现能力。因此留下以下回顾任务,供未来检查自己是否真正留下了可以独立重建的主干。

这些任务:

  • 不属于新的里程碑;
  • 不改变 I4 已收官的状态;
  • 不阻塞 I5;
  • 不要求重新手敲整个 I4;
  • 可以在后续任何阶段按需要回顾。

1. 多轮 SFT 掩码独立复现

  • 不看现有实现,写出 inputs / targets 的错位关系;
  • 独立实现 Assistant-only mask,保留每轮 Assistant 正文与结束标记;
  • 解释为什么 User 不参与 loss,却仍然可以作为上下文影响回答;
  • 跑通现有多轮 Dataset 与 Batch padding 测试;
  • 说明 Full 区间与 target 下标为什么相差一位。

2. DPO 核心计算独立复现

  • 独立实现 Assistant 输出的 sequence logprob;
  • 分别计算 policy / reference 对 Chosen 与 Rejected 的 logprob;
  • 写出 score,并确认顺序是“训练后偏好差 − 训练前偏好差”;
  • 写出 DPO loss,并验证初始 policy = reference 时 loss 为 ln 2;
  • 能解释 score 增大究竟来自 Chosen 提高、Rejected 降低,还是两者同时发生。

3. LoRA 旁路独立复现

  • 独立写出 A / B 两个低秩矩阵及前向计算;
  • 解释 rank 如何限制更新容量,alpha / rank 如何缩放旁路输出;
  • 验证 B 零初始化时,加入 LoRA 前后的模型输出保持一致;
  • 计算一个具体 Linear 层的原参数量、LoRA 参数量与节省比例;
  • 说明为什么 LoRA 参数效率高,不代表所有行为指标都更好。

4. RLVR / GRPO 最小机制独立复现

  • 为一个算术任务写出可执行验证器与奖励函数;
  • 对同一 Prompt 的一组回答计算组内均值、标准差与 advantage;
  • 解释组内全对、全错或全部无效时为什么缺乏学习信号;
  • 写出带 epsilon 裁剪的 ratio objective;
  • 能判断正负 advantage 分别希望提高还是降低对应回答的生成倾向。

5. 回顾时的统一验收方式

每个小主干都尽量做到:

能手写一个最小版本
能解释关键张量形状与符号方向
能跑通已有测试或最小探针
能说明故意改错一处会出现什么现象

目标不是把代码背得一字不差,而是脱离现成实现后,仍然能恢复核心计算链路,并用实验证明自己的理解。

在完成这些回顾之前,对 I4 的准确表述仍然是:实验里程碑已完成,概念与工程闭环初步建立,独立实现熟练度仍需后续验证。 这不是欠下一条新的主线,而是给未来的自己留下一张复习清单。

主要实验产物

data/reports/i4-dpo-v1-training.json
data/reports/i4-dpo-v1-cot-behavior.json
data/reports/i4-lora-sft-r8a16-training.json
data/reports/i4-lora-sft-r8a16-synthetic-val.json
data/reports/i4-grpo-sampled-group.json
data/reports/i4-grpo-one-update.json
data/reports/i4-grpo-one-group-cot-behavior.json
data/reports/i4-final-comparison.json

data/model_pth/qwen3/i4-dpo-v1.pth
data/model_pth/qwen3/i4-lora-sft-r8a16.pth
data/model_pth/qwen3/i4-grpo-one-group.pth

scripts/i4_dpo_train.py
scripts/i4_lora_sft_train.py
scripts/i4_grpo_group_probe.py
scripts/i4_grpo_sample.py
scripts/i4_grpo_one_update.py
scripts/i4_final_comparison.py
scripts/chat_server.py