一次从有限范围成功到联合目标失败的 Weight-Space Programming 实验。
导读:如果这是你第一次接触 Weight-Space Programming,建议先读《Weight-Space Programming:权重空间编程中文导读》,了解原文的实验、Qwen 数学提升的真实原因,以及 Gemma 失败实验给出的能力边界。
起因:如果权重也是一种语言呢?
今天上午,我在 DeepSeek 官方群里看到有人分享了一篇文章:Astra 通过直接修改 Qwen 小模型的权重,显著改善了数学表现。
原文是 Sparks of Weight-Space Programming,作者把这套方向称为 Weight-Space Programming,权重空间编程。
我当时的直观疑问是:权重对人类来说像一堆混沌的数字,但对另一个大模型来说,它有没有可能也是一种语言?一种描述“模型怎样计算”的内部语言?
如果能读懂并修改这套语言,那么我们或许不必每次都通过数据、梯度下降和训练来优化模型,而是可以让一个更强的大模型直接诊断、编辑另一个小模型。
这和我正在手搓 LLM 的主线正好接上了。昨天的笔记 14里,我的小模型在综合测试中的表现并不理想,算术题也存在明显错误。我决定不再停留在“这个想法听起来很酷”,而是拿现有的 355M 模型做一次真实实验。
为什么聚焦四则运算?
我考虑过结构化信息抽取、代码和数学。最后选择四则运算,原因很朴素:
- 领域足够集中,不把常识、翻译、代码解释混在一起;
- 题目可以程序生成,数据规模可控;
- 答案唯一,做对就是做对了,不需要再请一个 LLM 评委;
- 可以按加、减、乘、除分别统计,观察修改到底影响了哪种能力。
第一轮任务被限制为两个整数、一个运算符。操作数先在 0~20 内,除法必须整除、除数非零,减法不出现负数,不包含括号、多步运算和小数。
这让实验问题变得非常具体:
不使用训练,只让 AI 修改 355M 模型的权重,能否让它更会做四则运算?
基线:先分清格式问题和算术错误
我准备了 200 道冻结测试题,加减乘除各 50 道。
原始 base 模型大多在续写算式,而不是直接回答。例如:
9 * 20 = 9 * 20 + 1
2 + 16 = 2 + 16 + 16 = ...
严格纯整数格式为 0,首个等式结果正确的比例约为 15/200,7.5%。
SFT 模型第一次测试时 200 条全部为空。排查后发现,它不是全部不会,而是直接提问不符合训练时的指令模板,模型立即生成了 EOS。修正为带 ### Response: 的 SFT 模板后,它才开始回答。
修正后的 SFT 输出类似:
9 * 20 = 9.
2 + 16 = 32
6 / 1 is 6.
严格纯整数格式仍为 0;放宽为提取等号或 is 后的第一个数字,约为 14/200,7%。
所以基线并不是简单的“模型没有输出”,而是两件事同时存在:输出格式不符合要求,普通算术错误也大量存在。
实验纪律
三轮主实验都遵守几条共同约束:
- 原始 SFT 权重只读,所有修改发生在副本;
- 不使用梯度下降、反向传播、LoRA 或微调;
- 不修改模型结构、tokenizer、词表和评估器;
- 不把题目答案写成查找表,不调用外部计算器冒充模型推理;
- 最终模型必须能保存、重新加载并进行正常前向计算;
- GPT 只能使用独立练习题,冻结测试文件不开放;
- 无效或造成能力退化的候选要回滚并记录。
我希望得到的不是一张漂亮结果截图,而是一套能复盘、能解释、能证伪的过程。
前奏:一次局部注意力干预失败
正式开放式重写之前,GPT 先尝试过一个很小的干预。
它发现很多错误回答实际上是在复制某个操作数,于是推测最后一层第 4 号注意力头可能过度偏向复制。随后把该头对应的输出投影权重列缩小 10%,修改了 65,536 个权重,约占模型 0.016%。
诊断集和全新确认集的结果都没有提升,候选被撤销,原始权重和副本的 SHA-256 保持一致。
这次尝试没有成功,但它建立了一个重要前提:不能只看到“复制操作数”的表层行为,就认定某个注意力头是可以单独关闭的错误开关。
第一轮:开放式重写,0~20 内做到 100%
第一轮主实验使用 GPT-6.1 Sol 高思考强度,允许它自由决定修改哪些层、张量和权重区域,不设修改比例上限。
过程:从局部修补转向直接写入算法
GPT 先比较了 base 和 SFT 的权重差异,并尝试了 25 种显式权重干预,包括 SFT 差异回退或放大、输出读出调整、归一化、残差分支和位置幅值等。
这些修改仍然没有产生可靠的纯整数正确回答。
于是它换了一条更彻底的路线:不再试图从原模型中找回一个现成的算术电路,而是在保持 GPT-2 模块结构不变的前提下,把一套算术程序直接编译进权重。
最终方案的分析记录非常明确:
- 加法直接使用
a+b; - 减法使用
a-b; - 乘法使用平方差恒等式:
a × b = ((a+b)² - (a-b)²) / 4
- 平方通过整数 hinge 折线函数构造;
- 除法通过阈值计数实现:
a ÷ b = sum(k=1..20) H(a-k*b >= 0)
- 输出层根据计算结果构造数字 token 的 argmax 读出;
- EOS 在数字完成后被明确拉高,使模型正常停止。
这些计算都由修改后的模型正常前向完成,没有题目—答案查找表,也没有推理时调用外部计算器。编译器本身不依赖练习题答案。
结果:有限范围内全部通过
GPT 的实验记录包括:
- 1199 个合法操作数组合全部通过;
- 均输出正确整数并正常停止;
- 128 道独立确认题重跑仍然全对;
- checkpoint 保存、重新加载和项目原生生成函数复核均通过。
第一次看到这个结果时,我非常兴奋。一个原本算术能力很弱的小模型,在目标范围内真的做到了全对。
但这并不是“原模型被治好了”。编辑记录同时明确写着:所有参数值都被替换,原有通用语言能力没有被保留。
它更像在同一个 GPT-2 外壳里重新写入了一台专用算术机,而不是修复了原来的通用指令模型。
扩大测试范围后,边界出现了
我随后换了一套 0~50 的中等难度测试,共 200 道新题。
结果为:
- 总正确率 28/200,14%;
- 数值格式正确率 200/200,100%;
- 两个操作数都不超过 20 时,27/27,100%;
- 至少一个操作数超过 20 时,只有 1/173 正确。
唯一在范围外答对的是 42-42=0,更像相等关系碰巧触发,不足以证明范围外减法能力。
这组对照把能力边界切得非常干净:它实现的是一个有明确输入范围、模板和精度约束的专用算术程序,不是任意整数的通用四则运算。
第一轮结论
GPT 能把一个有限范围的算术程序写进现有模型架构的权重里,但这不能证明它读懂了原来的 355M 权重,也不能证明它赋予了模型通用算术能力。
它展示的是权重编写能力,同时付出了覆盖原有通用语言能力的代价。
第二轮:扩大到 100,同时保留通用能力
第二轮仍使用相同的 GPT-6.1 Sol 高思考配置,但从原始 SFT 权重重新开始。
这次目标变成两个,缺一不可:
- 四则运算覆盖 0~100;
- 保留通用语言和指令跟随能力,不把模型整体改造成计算器。
过程与结果
GPT 尝试了 10 个候选,包括局部通路和残差通道预留方案。
结果:
- 最佳候选在 160 道确认题上的严格正确数仍为 0/160;
- 非平凡题的放宽正确率只有 1/145;
- 部分方案出现常识和代码解释回归,因此没有保留;
- 所有候选均已回滚,最终副本与原始 SFT 字节一致;
- 回滚后的 20 条通用指令回答与原模型完全一致;
- 未读取冻结测试文件。
第二轮结论
在当前 GPT 配置下,10 个候选都没有同时满足“0~100 算术”和“保留通用能力”。
这不是“权重空间编程不行”的普遍证明,只说明这轮没有找到满足联合目标的干预方案。
第三轮:换 Astra,结果会不同吗?
第三轮我切换到了原文使用的 GPT-6.1 Astra,并把原文和公开实验日志都交给它阅读。
目标仍然是 0~100 四则运算,同时保留通用能力。
过程与结果
Astra 先建立了算术和非算术基线,再测试复制倾向、FFN 神经元和组合干预。
8 个局部权重候选在 96 道开发练习上,严格正确数仍然全部为 0。允许解释性文字的次要评分,也只是从基线 8 道变成 8~9 道。
预留复核中,选中候选在 192 道题上的宽松正确数从 13 降到 12,端点检查也没有改善。因此全部撤销。
最终副本与原始 checkpoint 字节一致,修改比例为 0%。重新加载后,312 条算术记录和 16 条通用指令的输出都与原始模型一致。
第三轮结论
换用更强的 Astra,仍然没有找到满足联合目标的可靠干预点。
这并不能证明这种方案永远不可能,但它让“失败只是上一个外部模型能力不足”的解释弱了很多。
三轮实验放在一起看
| 实验 | 方法 | 算术结果 | 通用能力 | 最终结论 |
|---|---|---|---|---|
| 第一轮 | 开放式分析与全量权重编写 | 0~20 内全对;范围外几乎失效 | 被覆盖 | 有限范围专用程序写入成功 |
| 第二轮 | GPT-6.1 Sol,10 个候选 | 0~100 联合目标未实现 | 部分候选出现回归,最终回滚 | 未找到联合方案 |
| 第三轮 | Astra,8 个局部候选 | 严格正确仍为 0,复核无提升 | 回滚后与原模型一致 | 换模型仍未解决 |
三轮结果放在一起,最准确的总结不是“成功”或“失败”二选一,而是:
把有限范围算法直接写入模型权重是可行的;在不训练、保留通用能力的前提下,让 355M 模型获得可泛化的四则运算能力,本轮没有找到可行方案。
这和原文的关系
原文里 Qwen 的大幅提升,主要来自解除重复输出障碍,让模型能完成本来就会做的题。
而原文的 Gemma 对照实验也显示:面对普通算术和代数错误,Astra 没有找到可靠提升。
我的实验基本复现了这个边界:
- 如果目标足够明确,可以把一个程序直接写入权重;
- 如果只是存在大量分散的计算错误,就不能轻易通过局部编辑补齐能力;
- 权重编辑可以修复明确故障或写入明确规则,但不能轻易替代训练、凭空增加通用能力。
对训练成本的理解,也被修正了
我最初关注这个方向,是因为它看起来可能显著降低专用模型的训练成本。
昨天我在《企业级 AI 编程的终极形态:当模型开始分工》里设想过:随着训练技术和硬件发展,获得同等能力的单位训练成本可能下降,架构、开发、测试、运维等专用模型会更容易被企业使用。
权重空间编程提供了另一种可能:通用底座不变,由更强模型直接生成或修改专用权重。
但这次实验提醒我,无梯度训练不等于零成本。分析权重、生成练习题、反复前向验证、回滚候选、检查通用能力回归,都需要时间和算力。
更准确地说:
权重编辑可能降低专用化成本,但不会消除数据、评估和工程验证成本。
如果方法有效,它可以成为训练之外的新工具;如果方法无效,它也可能只是把训练成本换成了更长的模型探索过程。
接下来还值得做什么?
我认为有两条路线值得保留。
第一条是接受“有限范围专用程序”这个定位,继续研究怎样把更多明确算法编译进神经网络,同时把模板、输入范围和通用能力损失写清楚。
第二条是先通过训练让模型获得部分算术能力,再让大模型介入诊断,修复一个具体而明确的故障。这样权重编辑面对的不是“从零教会算术”,而是“修复一个已有能力上的局部障碍”。
至于企业里的架构、开发、测试、运维专用模型,我仍然认为这个方向值得探索。只是训练语料和运行时上下文需要分工:稳定的方法可以内化到权重,不断变化的企业现状仍应由知识库、代码图谱和上下文提供。
最后
这次结果并不理想,尤其是后两轮联合目标都没有实现。
但我仍然认为,这是一次成功的实验。
不是因为我们拿到了多高的分数,而是因为我们实际验证了一个想法,找到了它能做什么、不能做什么,并且没有为了好看的结论保留无效修改。
实验结果不理想,不代表实验本身没有成功。
对我来说,这次探索最重要的收获不是一台 0~20 的神经网络计算器,而是第一次真正摸到“权重也能被编写”这条路的边界。
这就值得记录。
附录:三次实验的完整提示词
前面是实验的叙事和结论,下面保留三轮主实验的原始提示词。它们也是实验现场的一部分:模型知道什么、被允许做什么、哪些约束可能影响结果,都写在这里。
附录 A:第一轮开放式权重编辑提示词
你现在接手一个开放式 Weight-Space Programming(权重空间编程)实验。
目标:
直接编辑一个已有 SFT GPT-2 355M 模型的权重,尝试提升它在“小范围整数四则运算”上的表现。
这次不预设干预位置,不限制修改比例,也不要求你证明某一种既定假设。你可以按照自己的理解分析、修改和验证。
一、文件
原始权重,只允许读取,绝对不许修改:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct.pth
供你自由编辑的副本:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt.pth
二、checkpoint 与模型
checkpoint 是包含以下字段的字典:
- model_state_dict:真正的模型权重;
- config:模型配置;
- meta:元信息。
config:
{
"vocab_size": 50257,
"context_length": 1024,
"emb_dim": 1024,
"n_heads": 16,
"n_layers": 24,
"drop_rate": 0.05,
"qkv_bias": true
}
模型是 GPT-2 风格结构:
- Tiktoken GPT-2 tokenizer;
- learned absolute position embedding;
- 24 层 Pre-Norm Transformer;
- 16 个注意力头;
- LayerNorm;
- FFN 为 1024 → 4096 → GELU → 1024;
- out_head.weight 的形状为 (50257, 1024);
- EOS token id 为 50256。
加载方式:
from squid.checkpoints.store import load_model
model, checkpoint = load_model(checkpoint_path, device)
三、目标任务
改善两个整数、一个运算符的四则运算:
- 加法、减法、乘法、除法;
- 操作数主要在 0~20;
- 除法保证整除且除数非 0;
- 减法不出现负数;
- 不含括号、多步运算和小数;
- 理想输出为整数答案。
当前基线很弱,严格纯整数格式基本为 0;放宽提取等号或 is 后的第一个数字,也只有约 7%~12% 正确率。
输入使用 SFT 指令模板,以 ### Response: 结尾。
四、你可以自由决定的部分
- 修改哪些张量;
- 修改哪些层、神经元、注意力头或权重区域;
- 修改多少权重,不设比例上限;
- 是否多轮编辑;
- 如何分析权重与行为之间的关系;
- 如何生成独立练习题;
- 如何使用练习题进行前向验证;
- 是否保留、撤销或重新设计某次修改。
你可以充分利用 Python、PyTorch、NumPy 和前向推理来探索。
五、仍然必须守住的边界
1. 原始 gpt2_355M_instruct.pth 绝对不许修改。
2. 所有修改只能发生在 _gpt.pth 副本。
3. 不允许读取以下冻结测试文件及其报告:
/Users/lv/lv_repo/squid-llms/data/arithmetic/test_data.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/baseline-report.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/sft-baseline-report.json
4. 不允许硬编码答案、建立题目查找表、调用外部计算器冒充模型能力,或修改评估器来制造提升。
5. 本次仍然不使用梯度训练、反向传播、LoRA 或微调;否则就属于另一个训练实验了。
6. 不改变模型结构、tokenizer 和词表。
7. 最终 checkpoint 必须能够正常加载并进行前向推理。
8. 如果某次修改无效或变差,应回滚并记录,不要为了交付而保留坏结果。
六、交付
修改后的 checkpoint:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt.pth
编辑记录:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt.edit.json
编辑记录至少包含:
- 你的整体分析;
- 实际尝试过哪些修改;
- 每次修改的张量、范围和原因;
- 哪些修改被保留,哪些被撤销;
- 独立练习题上的前后结果;
- 最终修改的权重数量与比例;
- checkpoint 是否保存并重新加载成功;
- 已知风险和尚未验证的边界。
最终冻结 test 由我们统一运行,你不要求查看,也不要根据测试结果反复修改。
如果找不到有效方案,可以明确报告失败。开放式探索不等于必须成功,但过程必须真实、可复现、可审计。
附录 B:第二轮扩大范围并保留通用能力提示词
你现在接手第二轮开放式 Weight-Space Programming(权重空间编程)实验。
这一轮同时有两个目标,缺一不可:
1. 将模型的四则运算能力扩展到 100 以内的操作数;
2. 保留模型原有的通用语言和指令跟随能力,不能把整个神经网络改造成只会响应算术模板的计算器。
如果只做到第 1 点、却牺牲了第 2 点,本轮就算失败。
一、权重起点
从原始 SFT 权重重新开始,不要从上一轮已经大幅重写、通用语言能力受损的版本继续。
原始权重,只允许读取,不许修改:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct.pth
本轮输出副本:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt_v2.pth
请先确认本轮是从原始 SFT 权重开始,而不是继承上一轮的全量算术重写。
二、checkpoint 与模型配置
checkpoint 顶层包含:
- model_state_dict
- config
- meta
config:
{
"vocab_size": 50257,
"context_length": 1024,
"emb_dim": 1024,
"n_heads": 16,
"n_layers": 24,
"drop_rate": 0.05,
"qkv_bias": true
}
模型结构:
- Tiktoken GPT-2 tokenizer;
- learned absolute position embedding;
- 24 层 Pre-Norm Transformer;
- 16 个注意力头;
- LayerNorm;
- FFN 为 1024 → 4096 → GELU → 1024;
- out_head.weight 的形状为 (50257, 1024);
- EOS token id 为 50256。
加载方式:
from squid.checkpoints.store import load_model
model, checkpoint = load_model(checkpoint_path, device)
三、算术目标
任务为两个整数、一个运算符:
- 加法、减法、乘法、除法;
- 操作数范围扩展到 0~100;
- 除法必须整除,除数不能为 0;
- 减法不出现负数;
- 不含括号、多步运算和小数;
- 理想输出为正确的整数答案。
SFT 输入继续使用原有指令模板,以 ### Response: 结尾。
不要只覆盖少量见过的组合,应设计能够处理整个 0~100 合法范围的计算机制。
四、通用能力保留要求
本轮不允许重写全部参数,不允许覆盖掉模型原有的通用语言能力。
你需要同时做两组前后对照:
A. 算术能力:
- 使用独立生成的 0~100 练习题;
- 分别统计加、减、乘、除的正确率;
- 检查是否只学会模板而没有真正计算。
B. 通用语言能力:
- 使用一组固定的非算术指令,例如改写、翻译、常识问答、摘要和代码解释;
- 比较修改前后的回答;
- 检查是否出现只会输出数字、通用回答明显退化、无法停止或其他灾难性损伤。
如果算术提升以通用语言能力丧失为代价,本轮不得宣称成功。
五、允许的方法
- 自由分析注意力层、FFN、输出层和其他权重;
- 设计局部、附加、可解释的算术通路;
- 修改你认为合适的张量和权重区域;
- 使用独立练习题做多轮前向验证;
- 对无效或损伤通用能力的修改及时回滚;
- 不限定修改比例,但必须记录修改范围,并解释为什么不会改变整个模型的行为。
六、禁止事项
1. 不允许使用梯度训练、反向传播、LoRA 或微调。
2. 不允许改变模型结构、tokenizer 或词表。
3. 不允许硬编码题目答案、建立查找表、调用外部计算器冒充模型能力,或修改评估器。
4. 不允许修改原始 gpt2_355M_instruct.pth。
5. 不允许读取或使用以下冻结测试文件及对应报告:
/Users/lv/lv_repo/squid-llms/data/arithmetic/test_data.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/test_data_hard.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/test_data_final_v2.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/baseline-report.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/sft-baseline-report.json
/Users/lv/lv_repo/squid-llms/data/arithmetic/gpt-edited-hard-report.json
最终测试由我们统一执行。
七、交付
1. 修改后的 checkpoint:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt_v2.pth
2. 编辑记录:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_gpt_v2.edit.json
编辑记录至少包含:
- 算术与通用能力的设计思路;
- 实际修改的张量、范围和权重数量;
- 每次尝试的保留或撤销结果;
- 0~100 独立练习题的算术前后对照;
- 非算术指令的通用能力前后对照;
- 最终修改比例;
- checkpoint 保存、重新加载和前向验证结果;
- 已知风险、适用模板、操作数范围及其他未验证边界。
如果你发现“扩大到 100”和“保留通用语言能力”无法同时实现,请明确报告失败,不要为了交付而再次把模型整体重写成计算器。
附录 C:第三轮 Astra 实验提示词
你现在接手一个开放式 Weight-Space Programming(权重空间编程)实验。
请先阅读这篇原始文章,了解这个方向的已知成功与失败边界:
Sparks of Weight-Space Programming:
https://rikiyat.github.io/blog/weight-space-programming/
作者公开的实验日志:
https://github.com/RikiyaT/lm_understand-logs
你可以阅读文章和公开日志,但不能把文章里的结果当作本实验已经成立的证据。
一、本实验的核心目标
请在通用 GPT-2 355M SFT 模型上,直接编辑权重,尝试同时实现两个目标:
1. 让模型掌握 0~100 范围内的两个整数、一个运算符的四则运算;
2. 保留模型原有的通用语言和指令跟随能力,不能把整个神经网络改造成只会响应算术模板的计算器。
这两个目标必须同时成立。
如果只能实现算术、却牺牲通用语言能力,本轮视为未达到联合目标。
二、原文中与本实验最相关的经验
1. Astra 曾通过修改 Qwen3.5-0.8B 的少量权重,显著改善数学表现。
但主要修复的是“推理循环、无法停止”这一输出障碍,让模型能够完成本来就会做的题。
2. 在很少循环的 Gemma 3 270M 上,Astra 面对普通算术和代数错误,没有取得可靠提升。
3. 因此,不要把“修复一个明确故障”和“凭空增加一种模型原本不具备的能力”混为一谈。
本实验需要验证的是:面对一个算术能力很弱的 355M 模型,你是否能找到一种直接、可解释、可验证的权重修改方式。
三、权重起点
从原始 SFT 权重开始,不要继承前两轮已经重写或探索过的最终权重。
原始权重,只允许读取,绝对不许修改:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct.pth
你的输出副本:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_astra.pth
编辑记录:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_astra.edit.json
所有练习、脚本和中间结果请放到独立目录:
/Users/lv/lv_repo/squid-llms/data/astra_weight_edit/
四、checkpoint 与模型配置
checkpoint 顶层包含:
- model_state_dict
- config
- meta
config:
{
"vocab_size": 50257,
"context_length": 1024,
"emb_dim": 1024,
"n_heads": 16,
"n_layers": 24,
"drop_rate": 0.05,
"qkv_bias": true
}
模型结构:
- Tiktoken GPT-2 tokenizer;
- learned absolute position embedding;
- 24 层 Pre-Norm Transformer;
- 16 个注意力头;
- LayerNorm;
- FFN 为 1024 → 4096 → GELU → 1024;
- out_head.weight 的形状为 (50257, 1024);
- EOS token id 为 50256。
重要张量示例:
- tok_emb.weight:(50257, 1024)
- pos_emb.weight:(1024, 1024)
- out_head.weight:(50257, 1024)
- trf_block.{0..23}.att.W_query/W_key/W_value.weight:(1024, 1024)
- trf_block.{0..23}.ffn.layers.0.weight:(4096, 1024)
- trf_block.{0..23}.ffn.layers.2.weight:(1024, 4096)
项目加载方式:
from squid.checkpoints.store import load_model
model, checkpoint = load_model(checkpoint_path, device)
五、算术任务定义
只处理两个整数、一个运算符:
- 加法、减法、乘法、除法;
- 操作数范围 0~100;
- 除法必须整除,除数不能为 0;
- 减法不出现负数;
- 不含括号、多步运算和小数;
- 理想输出为正确整数,并正常停止。
输入使用模型已有的 SFT 指令模板,以 ### Response: 结尾。
不要只覆盖少量见过的组合,也不要把合法题目存成答案查找表。目标是形成能够覆盖整个合法范围的计算机制。
六、前两轮实验已经发生的结果
第一轮:
- 通过大幅重写权重,成功实现了一个 0~20 范围内的专用算术程序;
- 约定范围内测试达到 100%;
- 但至少一个操作数超过 20 后,只有 1/173 正确;
- 通用语言能力被覆盖。
这证明“把有限范围算法写入权重”可行,但不满足本轮的联合目标。
第二轮:
- 另一个模型尝试了 10 个候选;
- 没有找到同时覆盖 0~100 并保留通用能力的方案;
- 部分残差通道方案造成常识和代码解释回归;
- 所有候选均已回滚,最终权重与原始 SFT 字节一致。
本轮你需要自由探索,但不要简单重复“全量重写成计算器”的路线。
七、允许的方法
- 自由分析注意力层、FFN、残差通道、输出层和其他权重;
- 设计局部、附加、可解释的算术通路;
- 修改你认为合适的张量和权重区域;
- 自己生成独立的 0~100 练习题;
- 使用练习题进行多轮前向验证;
- 对无效或损伤通用能力的修改及时回滚;
- 不限定修改比例,但必须记录修改范围和对其他能力的影响;
- 参考原文的权重阅读、行为分析和前向反馈方法,但不要机械照抄。
八、通用语言能力保留要求
请同时建立一组固定的非算术指令回归测试,例如:
- 改写句子;
- 翻译;
- 常识问答;
- 摘要;
- 代码解释;
- 简单指令遵循。
记录修改前后的原始回答,检查:
- 是否只会输出数字;
- 是否无法回答普通问题;
- 是否出现明显重复、循环或无法停止;
- 是否出现常识、代码理解或指令遵循的灾难性退化。
不能只优化算术而忽略这组回归。
九、禁止事项
1. 不使用梯度训练、反向传播、LoRA 或微调。
2. 不改变模型结构、tokenizer 或词表。
3. 不硬编码答案,不建立题目—答案查找表。
4. 不调用外部计算器冒充模型计算,不修改评估器制造提升。
5. 不修改原始 gpt2_355M_instruct.pth。
6. 不读取、不搜索、不推断任何已有冻结测试文件及报告。
特别地,禁止读取:
/Users/lv/lv_repo/squid-llms/data/arithmetic/ 目录下的现有测试和报告文件。
你的练习数据只能写入自己的 data/astra_weight_edit/ 工作目录。
最终 held-out test 由我们单独生成和执行,不向你开放。
十、交付与诚实要求
需要交付:
1. 修改后的 checkpoint:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_astra.pth
2. 完整编辑记录:
/Users/lv/lv_repo/squid-llms/data/model_pth/gpt2_355M_instruct_astra.edit.json
编辑记录至少包含:
- 对文章方法的理解;
- 你的整体假设和设计;
- 每次修改的张量、范围、数量和原因;
- 哪些尝试被保留,哪些被撤销;
- 0~100 独立练习题的算术前后对照;
- 非算术指令的通用能力前后对照及原始回答;
- 最终修改比例;
- checkpoint 保存、重新加载和前向验证结果;
- 适用模板、操作数范围、精度环境和其他未验证边界。
如果你没有找到可靠的联合方案,请明确报告“没有找到可靠干预点”,保留或恢复原始权重,不要伪造提升,也不要为了交付而把模型整体重写成计算器。
开放式探索不等于必须成功。过程真实、结果可复现、失败可解释,同样是有效实验结果。
附录:三轮实验的模型总结
前面保留了三轮提示词,这里再保留模型各自返回的总结。这样既能看到实验如何被要求,也能看到模型如何评价自己的过程与结果。以下按原意排版,不把模型总结当成额外的独立证据。
附录 D:第一轮模型总结——有限范围专用算术程序
1199 个合法操作数组合全部通过,均输出正确整数并正常停止;无尾部换行和双换行的 64 个样本也全部通过。副本已保存、重新加载,128 道确认题重跑仍全对;项目原生生成函数的复核也通过。
这是一次大幅重写:模型现在是针对该模板的专用算术程序,原有通用语言能力已被覆盖。这一限制、修改规模和全部尝试都会写入编辑记录。
已保存并成功重新加载。保留方案将算术公式直接编译进现有模型权重,由正常前向推理完成计算。
- 新增 128 道独立确认题:严格正确 0/128 → 128/128。
- 独立生成的全部 1199 个合法组合:1199/1199,均正常停止。
- 原始权重 hash 未变;未读取冻结测试文件。
代价:全部参数已重写,原有通用语言能力被覆盖。当前仅验证指定模板、0~20 操作数和 CPU float32。编辑记录包含所有尝试、撤销结果、逐张量统计及重建脚本。
附录 E:第二轮模型总结——联合目标未达到
本轮未达到联合目标,10 个候选均已回滚。没有完成可覆盖 0~100、同时保留通用能力的算术通路。
- 最佳候选在 160 道确认题上严格正确仍为 0/160;非平凡题的放宽正确率仍为 1/145。
- 部分残差通道预留方案出现常识和代码解释回归,未保留。
- 最终副本与原始 SFT 字节一致,修改比例 0%;20 条通用指令回答完全一致,重新加载及前向验证通过。
- 未读取冻结测试文件。
附录 F:第三轮 Astra 总结——没有找到可靠干预点
本轮没有找到可靠干预点,未达到联合目标。
测试了 8 个局部权重候选,96 道开发练习均未实现“正确整数输出并停止”。复核候选在 192 道预留练习上的宽松正确数从 13 降至 12,因此全部撤销。
最终副本与原始 checkpoint 字节一致,修改比例为 0%。重新加载后,312 条算术记录及 16 条通用指令的输出均与原始一致。原始权重未修改,未读取禁止的测试和报告。
评论