这篇记录 I4-C:思维链 CoT-SFT 的受控实验与阶段收官。它不是“CoT 能力已经解决”的证明,而是一次从数据协议、模板行为、训练干预到行为验收的完整排障。

最后得到的结论并不只是“哪个学习率最好”,而是:

原始模型已经会生成 CoT
→ 全参数 SFT 在不同 peak_lr 下产生不同程度的行为破坏
→ 低学习率版本保留并改善了一部分行为
→ 但最终答案正确率仍没有整体超过原始模型

一、实验目标与基线

本轮继续使用 Qwen3-0.6B Instruct,从原始权重开始。实际运行环境为 MacBook M4 Pro、MPS、FP32。

实验问题不是“模型能不能显示 <think>”,而是:

  • 简短、正确的 CoT 数据能否改善推理表达;
  • 最终答案与思考结构能否同时保持;
  • 不同 peak_lr 会如何影响原生 CoT 行为;
  • 训练后是否变得更短、更可靠,还是只是 loss 更低。

第一版 CoT 行为基线使用 32 条独立验证样本,分别统计:

answer_correct:最终数字是否正确
format_compliant:是否以 <think> 开始,恰好一对标签、非空推理、纯数字答案,且推理不是答案复读
finish_reason:自然结束还是长度截断

原始模型的基线结果为:

answer_correct = 30/32
format_compliant = 32/32
passed = 30/32
empty = 0
natural_stop = 32/32

原始模型已经具备完整 CoT 输出能力,主要问题是思考偏长、存在自我怀疑,以及少量算术和推理错误。

二、CoT 数据契约:监督完整 Assistant 输出

1. 思考标签也属于训练目标

本轮选择监督完整 Assistant 输出,而不是只监督最终答案:

<think>
简短、正确的推理
</think>
最终答案
<|im_end|>

在固定探针中,Full 下标为:

31~33:Assistant 角色头
34:    <think>
36~87:推理正文
88:    </think>
90~92:最终答案 600
93:    <|im_end|>

因此:

full[34:94] → targets[33:93]

Assistant 角色头、System 和 User 不计 loss;思考标签、推理正文、最终答案和 <|im_end|> 都参与 loss。

这样训练的是完整输出协议:开始思考、进行推理、结束思考、给出答案、正常结束,而不是只学习答案格式。

2. 多轮 CoT 的一个真实兼容问题

GPT 辅助生成数据后,发现了一个系统性问题:Qwen 模板会剥离历史 Assistant 的思考过程,只保留最终答案。

例如原始数据是:

Assistant 1:<think>12 × 16 = 192。</think>192
User 2:补货后变为 3 倍
Assistant 2:<think>192 × 3 = 576。</think>576

模板实际保留的是:

历史 Assistant:192
最后一轮 Assistant:完整 CoT + 576

第一版 find_assistant_spans() 直接拿原始完整 CoT 去渲染文本中查找,必然找不到。受影响的正好是 64 条 train + 16 条 val,共 80 条多轮样本。

最终没有修改数据,也没有强行改变 Qwen 模板,而是遵循“模板实际显示什么,就监督什么”:

def get_assistant_visible_content(messages, index):
    content = messages[index]["content"].lstrip("\n")

    if index == len(messages) - 1 or "</think>" not in content:
        return content

    return content.split("</think>")[-1].lstrip("\n")

这样历史 Assistant 只监督最终答案和 <|im_end|>,最后一轮继续监督完整 CoT。新增回归后达到 5 passed,同时覆盖原有非 CoT 行为与多轮 CoT 可见性。

这也是训练与推理保持一致的重要原则:不为了保留思考而制造一套与真实调用不同的模板。

三、128 + 32 条 CoT 数据审计

正式数据分为两类:

类别 Train Val
单轮算术 64 16
多轮数值更新 64 16
合计 128 32

每条 Assistant 使用 1~3 行简短推理,最终答案为纯数字。数据审计实际覆盖:

  • JSON、角色顺序和类别比例;
  • 每个 Assistant 恰好一对 think 标签;
  • 推理与最终答案非空,答案为纯数字;
  • train / val 无完全重复对话;
  • train / val 无重复显式算式;
  • 与 smoke、非 CoT 数据无重复显式算式;
  • 排除行为基线中的名字、颜色和指定表达式;
  • 272 条显式算式重新核算;
  • 全部 160 条样本通过真实模板编码,修复后的历史 CoT 与最后一轮 CoT 均可定位。

本地 i4_cot_data_audit.py 最终输出:

train equations checked: 218
val equations checked: 54
total equations checked: 272
train / val exact overlap: 0
train / val expression overlap: 0
existing-data expression overlap: 0
全部 CoT 数据审计通过

算式解析只能覆盖明确写成“数字 + 运算符 + 数字”的部分,不能代替全部自然语言推理质量评估。

四、训练前的两个关键对照

1. 原始模型与上一轮非 CoT v2

在开启 thinking 后,上一轮非 CoT SFT 的最佳版本出现了明显的行为变化:

指标 原始模型 非 CoT v2
最终答案正确 30/32 10/32
完整 CoT 格式 32/32 0/32
综合通过 30/32 0/32

这说明非 CoT SFT 对 thinking 行为存在明显干扰。因此,本轮从原始权重开始,不把“恢复被破坏的 thinking”和“学习短 CoT”混成同一个实验。

2. 评分脚本也需要先修正

第一次评估时,expected 是完整的 <think>...</think> 加答案,却拿去与模型的纯数字答案做 expected_exact 比较,导致所有样本被误判为答案错误。

修正为:

expected_answer = split_cot_response(expected)[1]

并分别保存完整期望输出与最终期望数字。修正后,原始模型的 30 条正确答案才被正确计入。

这再次说明:先验收评测器,再比较模型。

五、三组训练与行为结果

三组都使用原始权重、128 条训练样本、32 条验证样本、batch_size=4、n_epochs=1、32 steps、seed=123。

报告核对后,三版的 initial_lr 与 min_lr 实际均为 1e-6 和 1e-7,并非整体按比例缩放。因此,本实验应理解为 peak_lr 与后续调度路径的对照,不声称其他调度参数完全相同。

版本 peak_lr final full val loss 答案正确 完整 CoT 综合通过
v1 1e-5 0.807683 6/32 0/32 0/32
v2 1e-6 1.159451 29/32 32/32 29/32
v3 3e-6 1.037620 18/32 1/32 1/32

1. v1:低 loss,但 CoT 直接丢失

v1 的训练结果很漂亮:

initial train loss = 2.670255
final train loss = 0.822201
final full val loss = 0.807683

但行为上:

  • 32 条样本全部没有完整 CoT;
  • 最终答案只剩 6 条正确;
  • 两组回答重复到长度上限;
  • 训练原题上,原始模型 4/4 正确且完整 CoT,v1 只剩 1/4 正确、0/4 完整 CoT。

所以它不是简单的验证集泛化失败,而是训练直接引入了 CoT 行为干扰。

2. v2:降低 peak_lr 后,CoT 恢复并出现局部收益

将 peak_lr 降到 1e-6 后:

final train loss = 1.140148
final full val loss = 1.159451

行为结果为:

answer_correct = 29/32
format_compliant = 32/32
passed = 29/32
natural_stop = 32/32

分类表现:

类别 原始模型 v2
数值更新 15/16 16/16
单轮算术 15/16 13/16

v2 的数值更新超过原始模型,但单轮算术和总体正确率仍未超过原始模型。因此它是当前 SFT 干预中破坏最小、存在局部收益的 checkpoint,不是全面优于原始模型的 checkpoint。

3. v3:中间学习率再次出现结构性退化

将 peak_lr 调到 3e-6 后,最终答案为 18/32,严格有效 CoT 只剩 1/32。

主要问题包括:

  • 前置乱码或无关数字;
  • 空思考;
  • 思考标签与答案交错;
  • 最终答案与中间结果不一致;
  • 数值更新行为明显失稳。

v3 的 format_compliant=1 使用收紧后的格式定义重新计算,不能把早期宽松检查中的 28 条标签出现当作有效 CoT。

六、严格格式验收:出现标签不等于有效 CoT

早期格式检查只要求有一对标签、非空推理和最终答案,导致“前置垃圾数字”和“答案复读”也被判为合格。

最终收紧为:

def has_complete_cot_format(response):
    stripped = response.strip()
    if not stripped.startswith("<think>"):
        return False

    reasoning, final_answer = split_cot_response(stripped)

    return (
        response.count("<think>") == 1
        and response.count("</think>") == 1
        and bool(reasoning)
        and bool(final_answer)
        and reasoning != final_answer
    )

这要求:

  • 必须以 <think> 开始;
  • 恰好一对标签;
  • 推理与答案都非空;
  • 推理不能只是答案复读;
  • 最终答案仍需通过纯数字格式检查。

原始模型与 v2 在新定义下仍为 32/32;v3 从宽松的 28 条降为严格的 1 条。这说明短输出和出现标签都不能代替有效结构验收。

七、输出长度与推理算式变化

进一步比较原始模型与 v2:

指标 原始模型 v2:peak_lr=1e-6 变化
平均生成 tokens 163.1 139.4 缩短约 14.5%
中位生成 tokens 146 120 缩短约 17.8%
最大生成 tokens 430 278 缩短约 35.3%
推理算式错误 2 条 0 条 当前检查中消除

v2 的确不只是“保住原模型”,它确实带来了输出变短和显式推理算式改善。

但 reasoning equation errors=0 只说明正则识别出的算式计算正确,不代表整段推理逻辑和最终答案一定正确。v2 仍有 3 条最终答案错误,仍存在自我怀疑、过程混乱和前后不一致。

八、loss 与行为表现再次不一致

v1 的 val loss 最低,却只有 6/32 正确答案且完全丢失 CoT;v2 的 val loss 更高,却有 29/32 正确答案和完整 CoT。

这与 I4-B 的结论一致:

平均 token loss 下降,不等于目标行为变好;训练拟合程度更强,也不等于旧能力保留得更好。

后训练必须同时评估:

训练与验证 loss
最终答案正确性
输出结构完整性
推理过程质量
旧能力保持情况

九、阶段结论

本轮可以确认:

  • CoT 的标签、推理正文和最终答案都能进入训练目标;
  • Qwen 历史 Assistant 的 CoT 会被模板剥离,Dataset 必须按可见内容定位;
  • peak_lr 对 CoT 行为有显著影响,高学习率下可能出现格式丢失和结构性退化;
  • LR=1e-6 的版本保留了完整 CoT,并改善数值更新、输出长度和显式推理算式;
  • 但最终答案正确率没有整体超过原始模型,不能宣称 CoT-SFT 已全面提升能力。

因此,如果优先追求最终答案正确率,原始模型仍然更合适;如果研究如何以较小破坏获得局部行为收益,v2 才具有对照价值。

十、阶段收官与下一步

I4-C 按受控实验阶段收官,保留以下未解决问题:

  • 最终答案准确率尚未整体超过原始模型;
  • 推理仍然偏长,自我怀疑并未完全消失;
  • 推理算式检查不能覆盖完整语义质量;
  • 尚未评估更大数据集、真实任务或其他模型规模;
  • 尚未开始 DPO / GRPO。

下一步进入 I4-D 时,将重点研究偏好数据:

Chosen:简短、正确、结构完整的 CoT
Rejected:冗长、自我怀疑、算式错误、结构混乱或重复的回答

DPO 的目标是学习偏好差异,而不是简单模仿标准答案。它是否能在保留最终答案能力的同时改善表达,需要重新建立基线和能力保持评测,不能当成自动修复工具。

主要实验产物

src/squid/data/chat_sft.py
scripts/i4_cot_template_probe.py
scripts/i4_cot_data_audit.py
scripts/i4_cot_target_probe.py
scripts/i4_cot_sft_train.py
scripts/i4_cot_behavior_eval.py

data/reports/i4-cot-original-baseline.json
data/reports/i4-cot-v2-baseline.json
data/reports/i4-cot-sft-v1-training.json
data/reports/i4-cot-sft-v2-lr1e-6-training.json
data/reports/i4-cot-sft-v3-lr3e-6-training.json
data/reports/i4-cot-sft-v1-behavior.json
data/reports/i4-cot-sft-v2-lr1e-6-behavior.json
data/reports/i4-cot-sft-v3-lr3e-6-behavior.json

data/model_pth/qwen3/i4-cot-sft-v1.pth
data/model_pth/qwen3/i4-cot-sft-v2-lr1e-6.pth
data/model_pth/qwen3/i4-cot-sft-v3-lr3e-6.pth