GPT-6 开始「手写」神经网络：把游戏规则变成权重，打砖块得分高出 20 倍

BiRun 讯，神经网络里动辄数百万、数亿个参数，过去主要靠训练算法反复调整。MIT 研究团队却发现，GPT-6 Astra 已经能直接分析、修改这些数字，甚至不用训练，就能从零写出一套神经网络。

研究人员把简化版打砖块游戏的规则、源代码和一套权重全为零的神经网络交给 GPT-6，让它自己填写参数。不提供训练数据，也不允许试玩。GPT-6 自己推算球的落点，把预测和移动挡板的逻辑写进网络权重。最终游戏得分达到 517.4，是同等结构、经过 5 亿步强化学习训练的模型的约 20 倍。不过，在另外两款游戏中，它没有超过训练 5 亿步的模型。

研究人员随后让 GPT-6 直接修改阿里 Qwen3.5-0.8B 的权重。它没有重新训练模型，只改动了 0.016% 的参数，就让 MATH-500 数学正确率从 7.9% 升至 48.1%，指令遵循成绩也提高了近 3 倍。

原来，Qwen 经常陷入思考死循环，反复推理却不给出答案。修改前，93% 的数学测试回答会耗尽 32768 个 Token；修改后降至 33.1%。GPT-6 相当于修好了妨碍模型正常答题的毛病。

但换成参数量仅 2.7 亿的 Gemma 3 270M，GPT-6 就没能明显提高数学成绩。这款更小的模型很少陷入死循环，主要问题是算术和推理本身就容易出错，没法靠修改少量权重轻易解决。

研究人员将这种直接读写参数的方法称为「权重空间编程」（Weight-Space Programming）。

信源

动察 Beating 频道 · 动察 Beating 交流群。