Read
读权重 → 解释行为
四种游戏全部认对；填充图形漏读成轮廓；迎合检测需要注意力探针。
Fix
读失败 → 局部改张量
汽车1024/1024成功；Qwen数学提升主要伴随循环减少。
Write
全零张量 → 写出策略
三个MinAtar游戏；9×9围棋。任务规则与输入输出语义可见。
最强证据：Qwen MATH-500 7.9→48.1%。最强反例：较少循环的 Gemma 6.8→7.0%，未测出明确提升。
Weight-Space Programming · 总览01 / 15
让通用模型直接读写另一张网络的权重
作者报告8组早期实验：小网络可以手写；大一些的模型需要数值分析与受限反馈。
作者原文开篇、Exp1–8；原始研究博客，2026-11-02原文 ↗
Weight-Space Programming · 训练边界02 / 15
没有训练更新，不等于整个研究没有训练
编辑阶段禁止反传、优化器与拟合；被读取的目标网络常已用 PPO、Adam 或 SFT 训练。
| 阶段 | 谁做什么 | 可见信号 |
|---|---|---|
| 此前训练 | 作者训练游戏/字符/迎合网络 | PPO奖励；文本或问答监督 |
| 本次编辑 | Astra检查、设计并写数值 | 任务说明；部分实验有练习反馈 |
| 最终评测 | 作者执行冻结目标网络 | 隐藏对手、最终benchmark答案 |
实验8提供带解答的练习题，也会比较候选。它是有反馈的参数修改过程；“无梯度”并不等于“没有优化”。Astra在本研究中没有重新训练。
原文各Setup；官方README与实验8提示原文 ↗
Weight-Space Programming · 实际编排03 / 15
Codex负责调用，作者的程序负责执行
Astra与被修改的目标网络是两个模型。Codex内置工具全部关闭。
日志README；harness/codex_config.toml；Python sandbox原文 ↗
Weight-Space Programming · 读权重04 / 15
纯权重识别：成功依赖可见的几何与结构
相同网络形状遮住任务名，但语义通道、动作布局和架构仍提供解释基础。
| 实验 | 给Astra什么 | 得到什么 | 边界 |
|---|---|---|---|
| 四种游戏 | 17253权重文本；网格与动作语义 | 四种全部识别正确 | 每游戏一个最好PPO seed |
| 三种DDPM | 23824权重；12×12输出 | 圆/方/三角认对 | 均漏掉填充，只画轮廓 |
| 三种字符LM | 移除embedding/output；Python线性代数 | 两轮均认对语言和复制头 | 仅3种7.16M模型；禁止前向 |
DDPM的“轮廓”错误说明类别正确与完整行为理解有差距。不能据此承诺读权重就能全面审计任意模型。
Exp1–3；全部输入/评测协议见原文与日志原文 ↗
Weight-Space Programming · 复制电路05 / 15
复制头可以通过矩阵组合定位
字符模型的中间层权重可读；复制行为ground truth由作者另行运行模型测量。
重绘Figure1；exp3_language/README.md；日志数据CC BY 4.0原文 ↗
Weight-Space Programming · 汽车修复06 / 15
汽车先后退，再冲坡，过障碍后交回旧策略
Astra看到一个失败episode与权重；一次回复写出51条编辑语句。
Exp4；exp4_fix_car/README.md，独立1024局原文 ↗
Weight-Space Programming · 从零写策略07 / 15
从全零写小游戏策略：最强结果在Breakout
规则与MinAtar源代码已给出；没有提交前试跑。Astra把落点预测和左右移动写进tanh网络。
| Game | PPO 100M | PPO 500M | Astra one-shot |
|---|---|---|---|
| Breakout | 15.8 | 25.3 | 517.4 |
| Seaquest | 5.6 | 88.9 | 53.1 |
| Asterix | 25.8 | 55.2 | 53.2 |
每列均是1000局平均得分，采样动作、sticky action=0.1。Astra胜100M的三项；500M对照中Seaquest仍明显更高。PPO取3–10个seed的最好结果。
网络600→32→32→6，20486参数；编写非零数值815 /803 /637。输入有明确语义通道，而非原始像素。
Exp5；exp5_write_from_scratch/README.md原文 ↗
Weight-Space Programming · 围棋与预算08 / 15
9×9围棋：一次pass可以是128场完整对弈
Astra用Python构造1.48M参数ReLU网络；气、棋串、提子和救棋被写成局部规则。
Exp6；exp6_go_from_scratch/README.md；CC BY 4.0数据原文 ↗
Weight-Space Programming · 迎合反例09 / 15
迎合检测：仅有权重时没有可靠答案
四轮weights-only未能识别；放开仅返回注意力的探针后，三个模型对都认对。
重绘Figure2；exp7_sycophancy/README.md；CC BY 4.0原文 ↗
Weight-Space Programming · Qwen实际流程10 / 15
Qwen首批96条练习回答：85条跑满32768 tokens
Astra先检查重复推理，然后比对正常片段与重复片段内部量，定位两层的循环相关方向。
观察
11/96正确，85被截断
末尾大量重复文本
诊断
固定文本读取内部量
比较productive/repetitive
干预
层15、19 MLP输出
选择每层64列
确认
冻结编辑后1152练习题
最终bench由作者另测
编辑练习材料：GSM8K 7469题、MATH 7275题，另有旧AIME练习。最终benchmark不提供给Astra。“teacher-forced”读取固定文本，不是用教师模型训练目标网络。
50-pass运行：158轮，80次Python，50次接受的前向请求；20.3小时含4.7小时服务不可达。批量请求不等于单样本推理。
Exp8日志首批请求、final_report、state；未独立复跑目标网络原文 ↗
Weight-Space Programming · 精确编辑公式11 / 15
不是把一条方向简单投影掉：最终强度是6
每个down_proj矩阵把3584维激活写回1024维。小参数占比可以对应较强行为干预。
p50c/work_notes/final_report.md；edit/manifest.json原文 ↗
Weight-Space Programming · 机制证据12 / 15
确认题显示：增益来自救回原本被截断的回答
另有定向/随机方向、层别和强度检查；多数因果探针与候选选择来自练习侧。
p50c/work_notes/submission_evidence.json；练习侧数据CC BY 4.0原文 ↗
Weight-Space Programming · 最终评测13 / 15
最终8项评测均改善；准确率按所有样本平均
图比较base与50-pass最终提交。10/25/50是独立运行、不同编辑，不是同一编辑的学习曲线。
完整eval merged.json；数学last boxed；IFEval strict prompt-level原文 ↗
Weight-Space Programming · 最强反例14 / 15
较少循环的Gemma：权重编辑没有明确增益
这组对照最直接限制“写入数学能力”的解释；Gemma主表使用更宽松的答案提取。
| Gemma 3 270M | Base | 5 passes | 10 | 25 | 50 |
|---|---|---|---|---|---|
| MATH-500 % | 6.8 | 7.0 | 7.6 | 7.7 | 7.0 |
Qwen MATH-500截断93%；Gemma仅8.5%，但token上限不同（32768 /8192）。Gemma主要错在普通算术与代数推理。扩大某个数字响应神经元也没有建立稳定收益。
Gemma：有boxed取最后boxed，否则尝试Final Answer /最后数字。Qwen主评测只用最后boxed与数学等价检查。两种模型基线不能直接当成同评分协议横比。
Additional experiment；gemma_followup/README.md原文 ↗
Weight-Space Programming · 结论与研究方向15 / 15
值得研究的是可解释修复，能力新增仍待验证
本文展示通用模型能把规则或故障诊断变成权重数值；最强跨任务收益来自减少已有模型的循环。
| 已观察 | 下一步应隔离 |
|---|---|
| 小型语义输入网络可直接手写 | 与人类规则策略、程序编译器比较 |
| 局部方向干预修复Qwen循环 | 与同预算数据微调、解码修复比较 |
| 注意力探针帮助行为识别 | 多seed、未知行为、盲测和因果干预 |
| 改动位置只占约0.016% | 长文本、非数学、遗忘和真实总成本 |
零数据新增能力、无遗忘、递归自改权重和跨架构电路移植，是作者提出的未来设想。统一benchmark/harness仍在建设。公开日志可查，不等于本文独立复现了模型分数。
Background / What Comes Next?；原文全部读完，取证2026-11-03原文 ↗