- 原文标题:Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
- 原文链接:https://rikiyat.github.io/blog/weight-space-programming/
- 阅读日期:2026-11-03
- 说明:这是根据原文整理的中文导读与实验解读,不是逐句全文翻译。文中数字均为作者报告的结果,当前没有独立复现。
一句话理解原文
作者认为,通用大模型已经开始具备一种新能力:不经过梯度训练,直接根据神经网络权重和行为反馈,对另一个模型进行诊断、修改甚至从零编写。 他们把这叫 Weight-Space Programming(权重空间编程)。
但“读懂权重”并不是像人一样随便扫一眼权重文件,就知道每个神经元在做什么。不同实验分别使用了原始权重文本、Python 分析工具、行为观察和前向反馈,限制条件并不相同。
一、它是怎样“读”权重的?
1. 从权重判断网络在玩什么游戏
作者训练了四个结构完全相同的小网络,分别玩 Breakout、Pong、Pac-Man 和 Freeway。
他们把全部 17,253 个权重以文本形式交给 Astra,不告诉它候选游戏名称。Astra 四次都认对了。
它依据的是权重里的空间结构,例如第一层更关注输入网格的哪些区域、输出层更倾向于区分哪些动作。
2. 从扩散模型权重判断它生成什么形状
作者给了三个小扩散模型,分别生成圆形、三角形和正方形。Astra 不允许运行模型,只看权重,也能认出形状。
它主要依据输出层不同神经元画出的边缘。不过它也犯了一个细节错误:把填充图形理解成了轮廓。
3. 只看 Transformer 中间层,判断训练语言
这是比较重要的实验。作者训练了三个 7.2M 的字符级小模型,分别学习 Python、英文和日文罗马字。
他们去掉输入、输出层,只给 Astra 中间四个 Transformer Block。Astra 不仅认出了语言,还准确找到了“复制头”——会找到前文重复内容、并复制后续字符的 attention head。
这里允许它用 Python 分析权重,但不允许运行网络、不允许搜索、不能做前向计算。作者检查过运行记录。
这部分支持一个很有意思的判断:大模型可能真的能从权重中识别某些 Transformer 层和注意力头的功能。
二、它是怎样“写”权重的?
作者做了从小到大的实验:
- 修复一个始终无法冲上坡道的小车控制网络,一次修改约 3.5% 的权重后,1024 次测试全部成功;
- 从零编写几个小型游戏网络,部分结果超过经过大量 PPO 训练的小网络;
- 在约 150 万参数的围棋网络上,用 Python 写权重,并通过多次前向测试继续修改。
需要注意:后面的实验开始允许工具和前向反馈,不再只是“把权重读一遍就直接写答案”。
三、数学能力提升实际是怎么回事?
这是原文第 8 个实验,也是宣传截图里最震撼的数字。
模型是 Qwen3.5-0.8B。作者给它:
- 一个加载了权重的 Python 环境;
- GSM8K 和 MATH 的训练集题目,不是测试集;
- 最多 50 次前向测试机会;
- 不允许梯度、不允许训练。
Astra 发现,这个小模型最大的障碍是推理循环:它反复生成相同内容,根本停不下来。最初的 96 个练习回答里,有 85 个一直生成到 32768 token 上限。
于是 Astra 在第 15、19 层的 MLP 中,找到了一个与循环行为相关的方向,并从每层的 64 个输出列中减去这个方向。总共修改 131,072 个权重,占模型约 0.016%。
作者报告的结果:
| 指标 | 修改前 | 修改后 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval 指令遵循 | 21.0% | 62.3% |
| 撞 token 上限的回答 | 93.0% | 33.1% |
这里最关键的不是“数学能力突然增加了”,而是“模型终于能把本来会做的题写完了”。
它修复的是一个输出障碍,不是凭空注入了数学知识。
四、原文还有一个更重要的失败实验
作者又拿一个很少出现循环的 Gemma 3 270M 做同样尝试。
这个模型也会算错,但错误是普通的算术错误、代数步骤错误,没有一个统一故障可以关闭。结果多轮权重编辑后,MATH-500 只从 6.8% 变成最多 7.7%;作者明确表示,这种提升不能算得到证实。
原文的结论其实非常克制:
权重编辑可以移除一个遮住已有能力的障碍,但不能凭空添加模型原本不具备的能力。
五、这对我们的四则运算实验意味着什么?
之前准备的“EOS 单行缩放”,最多只能用于验证停止、截断、循环这类输出障碍,不能直接等同于提升四则运算能力。
我们应该先跑 355M 的基线,把错误分成几类:
- 是否重复、循环、停不下来;
- 是否不输出数字或格式错误;
- 是否知道规则但计算错;
- 是否完全缺少对应算术能力。
如果主要是“答案算到一半就循环”,定向权重编辑可能有效;如果大量题目只是算错,原文的 Gemma 实验提醒我们:不要预设 GPT 改几个权重就能教会它算术。
另外,这篇文章里的“无训练”不等于“零成本”。Qwen 实验用了训练题、前向评估和 50 次反馈机会。它省掉的是梯度训练,不是数据、推理和评估成本。
六、对训练成本的启示
如果这种方法稳定、可复现,它可能显著降低“通用模型变成专用模型”的专用化成本:
- 不需要为每种角色重新预训练;
- 定向编辑权重时,可能不需要反向传播和大规模训练数据;
- 少了梯度、优化器状态和训练激活的显存开销;
- 同一个通用底座,可以分别形成架构、开发、测试、运维等专用补丁。
但总成本并没有消失,而是转移了:
总成本 = 通用底座成本 + 专用化成本 + 评估验证成本 + 后续维护成本
怎样找到正确修改、怎样证明没有损伤其他能力、怎样保证在新模型上也有效,仍然需要实验和评估。
更准确的说法是:
它不是让模型能力免费产生,而是可能把昂贵的“重新训练”,替换成更便宜的“定向修改 + 严格验收”。
七、最终需要记住的边界
权重空间编程目前最擅长的是找到并修复一个明确故障,而不是替代所有训练、凭空制造能力。
权重可以被看作一种可学习的机器编码,但不是天然可读的自然语言。真正可靠的证据不是模型“说出了某层是干什么的”,而是它能据此准确预测行为,并通过定向修改得到可重复、可验证的结果。
作者公开了各实验的完整日志,并提到已有外部人员重建、重新评估修改后的 Qwen 权重。当前这份记录只代表对原文的理解,不把作者结果写成我们已经完成的实验。
评论