产业观察🔥8.0
MIT 研究者提出「权重空间编程」：GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重，数学成绩提升至原来 6 倍
📋总体概括
MIT CSAIL 研究人员提出「权重空间编程」方法，让 OpenAI 的 GPT-6 Astra 直接读取并修改通义千问 Qwen3.5-0.8B 的神经网络权重，绕过梯度下降和传统训练循环。Astra 仅调整约 0.016% 的参数，就修复了模型在数学题上反复生成、大量耗尽 32768 Token 上限的推理循环问题，使 MATH-500 成绩从 7.9% 提升至 48.1%，约为原来的 6.1 倍。该研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 完成，于 11 月 2 日发布，展示了大模型直接编辑其他模型权重的全新范式。
⚡关键信息
- ▸MIT CSAIL 提出「权重空间编程」，让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重，无需梯度下降或训练循环
- ▸仅调整约 0.016% 参数，MATH-500 成绩从 7.9% 升至 48.1%，约为原来的 6.1 倍
- ▸问题根源是模型答数学题时反复生成相同内容：最初 96 次回答中有 85 次耗尽 32768 Token 上限
- ▸Astra 被给予可读写权重的 Python 环境，并用 GSM8K 与 MATH 训练题做有限次数前向推理来定位问题，修改涉及第 15 层和第 19 层
- ▸研究由 Rikiya Takehi 等四人完成，11 月 2 日以博客形式发布
🔥犀利点评
别急着欢呼「训练已死」。本质上是让一个更强模型当外科医生，给弱模型做了一次精准的 bug 修复——修的是推理死循环这种结构性缺陷，不是真正注入数学能力。7.9% 到 48.1% 固然夸张，但 0.016% 的改动说明它只碰了开关，没换引擎。真正值得警惕的是方向：如果大模型能读写小模型权重，模型优化的权力将进一步向算力和顶级模型持有者集中，开源小模型的命运恐怕要被别人捏在手里改写了。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 IT之家 阅读全文 →