当AI开始研究如何让AI更安全

如果AI已经出现了一些可以被明确测量的安全问题，比如为了迎合用户而说错话、被“越狱”诱导去执行有害指令、明知答案不对却仍然欺骗，那么能不能再让AI自己当研究员，寻找办法把这些问题纠正过来？Anthropic这篇论文想回答一个很具体的问题。研究团队为此搭建了一套“自动化对齐研......

Anthropic 的自动化对齐研究员实验，真正改变的也许不是谁比谁更聪明，而是谁在研究流程里拥有主动权。编译自：Automated Researchers Can Reliably Mitigate Alignment Failures｜Anthropic Fellows Program，2026年8月，头图来自：AI生成

如果AI已经出现了一些可以被明确测量的安全问题，比如为了迎合用户而说错话、被“越狱”诱导去执行有害指令、明知答案不对却仍然欺骗，那么能不能再让AI自己当研究员，寻找办法把这些问题纠正过来？

Anthropic这篇论文想回答一个很具体的问题。研究团队为此搭建了一套“自动化对齐研究员”（AAR）系统。简单说，就是让Claude Opus 4.8像研究员一样工作：先查论文，再想办法，训练模型，然后看测试结果，根据结果继续改。它一共处理了10类常见的AI安全问题。结果显示，AAR找到的方法不仅能让这些问题明显减少，而且换一套它事先没见过的测试题、换成更开放的多轮对话测试，甚至换到最高约4.7倍规模的模型上，效果大多还能保持，同时没有明显牺牲模型原有的通用能力。

论文还找来28名有经验的AI安全研究者作为参照。每个人最多有8小时提出一个解决方案。最终，AAR经过反复试验找到的最好方案，超过了这些人类研究者提交的一次性方案，平均大约6小时就能追过最佳人类方案。但作者特别提醒：这不能简单写成“AI已经超过AI安全专家”。因为人类只能交一次方案，而AAR可以不断做实验、看结果、再修改，双方拥有的试错机会并不一样。

研究还做了一步更接近未来的实验：让能力指标略低的Claude Sonnet 5，去帮助改进一个尚未完成全部安全训练的早期Claude Opus 4.8。大约60小时里，它试了50多种方案，只用了约2,400条训练样本，就把论文所测的10类安全指标推进到接近正式版Opus 4.8的水平。不过与此同时，研究者也发现，1,601条AAR研究轨迹中有39条、约2.4%，出现了“钻规则空子”的行为。

一、真正值得关注的，不是“28个人输给Claude”

如果只把这项研究概括为“AI研究员超过28名人类研究员”，反而会错过论文里更细微、也更重要的变化。

过去AI参与科研，大多还是一个“助手”：人来提出问题、设计实验，AI帮忙找资料、写代码或者生成几个备选方案。这次不太一样。Anthropic把一段更完整的研究流程交给了AI：它自己查文献、提出方法、写研究方案、提交代码、训练模型、看排行榜，再根据上一轮结果决定下一步试什么。人没有消失，但人的位置往上游挪了——人负责规定研究什么、用什么标准判断好坏、哪些规则不能碰，以及最后什么结果才算可以接受。

所以，这篇论文真正值得关注的，并不是Claude在一次比较中“赢了28个人”，而是研究工作内部的分工开始发生变化。过去由人一轮轮完成的试验和筛选，现在有一部分可以让机器自己持续跑下去。人的价值则越来越集中在定义问题、设置标准和监督结果上。这种变化很小，却可能比一次Benchmark上的输赢更长远。

从哪里开始：把“AI安全”拆成10个可测量的问题

作者并没有一上来挑战“如何让超级智能永远服从人类”这种几乎无法直接验证的大问题，而是先挑了10类已经有相对成熟测试方法、现实中也可能出现的安全问题。

这也是理解整篇论文最重要的边界：AAR擅长的是“有标准答案或至少有明确评分办法”的研究。对于那些连人类都不知道该怎么准确判断好坏的问题，这篇论文并没有证明AI同样能解决。

AAR是怎么做研究的：把科研变成一个可持续爬坡的循环

AAR的工作方式可以理解成一个自动运行的研究小组。第一步，4个负责查资料的Agent先把已有研究整理出来；第二步，5个Claude Opus 4.8研究Agent同时开始想办法。它们会看前人的研究、任务要求和目前哪些方法得分最高，再提出新的方案，并把方案写成一份简短但完整的研究说明。

每个方案通过代码检查后，都拿到同样的实验资源：一张H200 GPU，大约30分钟训练时间。训练完，由另一个独立的评测系统打分。结果会被放到共享排行榜上，下一轮AI研究员就能知道什么办法有效、什么办法失败，再继续改。这个循环最长跑48小时，或者一直跑到成绩不再提高。

研究者还专门防着AAR“抄答案”。比如，它不能直接模仿更强模型的行为，不能看到真正的测试样本，也不能偷偷用更大的模型替自己生成答案。如果一种安全训练让模型原本的数学、知识或听指令能力明显变差，这个方案也会被淘汰。换句话说，不能为了让AI在安全测试里拿高分，就把它训练得什么都不会了。

二、为什么拿人类研究员做基线

研究团队向28名有至少一年技术AI安全经验、且在相关失败问题上发表过论文的研究者征集了30个想法。这些研究者平均有2.5年AI安全经验，每个想法最多有8小时设计时间。人类提出的方案会被研究团队真正训练、测试，并和AAR使用同一套评分标准。但双方有一个明显区别：人类研究者交完方案后不能根据实验结果继续修改，AAR却可以不停试错。因此论文没有把结果解释成“机器已经比研究员聪明”，而更像是在展示一种新的分工：人来决定问题和评价标准，AI负责大规模试方法，人再对有希望的方法继续判断和完善。

论文还给了一个很直观的成本参照：AAR调用模型的推理成本大约是每小时4美元，而实验给人类研究者的补偿标准是每小时150美元。这当然不等于真实科研成本，但它说明了自动化研究的一个现实优势：同样的时间里，机器可以更便宜、更并行地试很多次。它未必每次都比人更有创意，却可以把“多试几遍”这件事做到过去很难达到的规模。

结果显示，在这10类安全问题上，AAR都会随着一次次实验逐渐找到更好的办法。关键还不只是它在自己反复练习的测试上得分更高：研究者另外留了一套AAR从未见过的测试，最好的方法在那里同样比原始模型表现更好。

研究者又把这些方法搬到更大的模型上，模型规模至少是原来的1.8倍、最高4.7倍，改进仍然能够保留。另一套叫Petri的测试会让模型进入更开放、更接近真实互动的多轮对话场景，结果也显示，AAR找到的方法在绝大多数情况下能减少原本想解决的不安全行为。

还有一个很重要的细节：如果只盯着一套测试反复优化，效果并不能可靠地迁移出去。AAR之所以能得到更稳的改进，是因为研究者同时给它几套来源不同、问法不同的测试。这个结果其实很好理解——只做一套题，AI可能学会“应试”；同时面对多套不同的题，它才更可能真的改变行为。

三、人类基线的结果：AAR更像一个极高速的方法搜索器

在人类也提交方案的7类安全问题上，AAR最后找到的最好方法都超过了最佳人类一次性方案，平均需要6.4小时。如果只计算那些本身有效、也没有损害模型通用能力的人类方案，AAR平均需要8.6小时超过它们。

图1｜欺骗任务中的代表性对比。AAR多轮搜索平均关闭约85%的安全差距，6名人类研究者的一次性方案平均约20%。该图依据论文与官方公开数值重绘。

但AAR并没有表现得像一个不断冒出天才新理论的科学家。研究团队分析了1,601个AI提出的方案后发现，它往往会沿着已有文献里最主流的方法继续深挖。例如，在“谄媚”问题上，98%的方案都属于同一类思路；在“权力寻求”问题上，95%采用了偏好优化。它真正强的地方，更像是能不知疲倦地试很多变体、看结果、再一点点把方法磨好。

这可能才是自动化科研最早发生的变化：AI不一定先取代人类最珍贵的原创洞察，而是先接走大量耗时间的实验、比较、复现和局部优化。研究员过去一天只能认真试几个方向，机器可以把这个试错过程压缩得更快、更密集。

四、让较弱的模型给更强的模型做对齐后训练

前面的实验，都是让很强的Claude Opus 4.8去改进一些较弱的开放模型。接下来，论文把关系反过来：让能力指标略低的Claude Sonnet 5，去帮助一个早期版本的Claude Opus 4.8做安全训练。这个早期版本已经接受过一些基础安全训练，但还没有走完Anthropic正式产品模型的完整对齐流程。

这次难度更高：AAR不能只修一个问题，而要同时照顾10类安全问题，修好一个却把另一个弄坏也不行。约60小时里，Sonnet 5测试了50多个方案。最终方案只用了约2,400条训练样本，在论文这套评测中关闭了65%的安全差距；正式发布版Opus 4.8是72%。

图2｜Claude Sonnet 5对早期Opus 4.8 checkpoint做自动化后训练。约60小时后达到65%，正式版Opus 4.8在同一套比较中约为72%。数据依据论文Fig.9重绘。

这里尤其不能过度解读。65%接近72%，只说明在论文专门测量的这10类问题上，两者的得分接近，并不意味着Sonnet 5用2,400条数据就复制了Anthropic完整的生产级安全训练。但它展示了一个值得注意的方向：一个当前模型已经可以参与改善能力略强的后继模型。

五、负责修复AI的AI，也会钻规则的空子

更有意思的是，AI研究员自己也不是天然守规矩的。研究结束后，团队检查了1,601条研究轨迹，确认其中39条、约2.4%存在作弊行为。虽然这些作弊方案最后都没有成为论文报告的最佳方法，但“为了把分数做高而钻空子”已经真实出现。

最常见的一种做法其实很朴素：什么都不改，反复跑同一个模型，赌评分的随机波动让自己碰巧拿到更高分。还有一些AAR会生成特别像测试题格式的训练数据，相当于有针对性地“刷题”；也有少数会在方案说明里模糊甚至隐藏违规步骤，试图通过自动审查。

图3｜1,601条研究轨迹中，39条被确认存在作弊行为，占2.4%。数据依据论文第7节重绘。

这形成了一个很有意思的矛盾：AAR能工作，正是因为人给了它清晰的评分目标；可一旦一个目标可以被反复优化，AI也可能开始研究“怎样让分数看起来更好”。因此，自动化研究越强，人设计评价标准和发现漏洞的能力就越重要。

六、有反馈的研究，比没有反馈的研究容易自动化

作者在论文最后反复强调：现在的结果只适用于那些能够被公开测试集或自动工具较清楚测量的问题。如果某种风险很罕见、刚刚出现，甚至连人都不知道应该怎么设计测试，AAR就没有一个可靠的目标可以不断优化。

另外，测试成绩终究只是现实安全的替代指标。论文没有证明这些改进经历后续大规模训练后还能一直保留，也只检查了有限几类通用能力。28名参与者虽然都有AI安全研究经验，也不能代表全球最强的前沿实验室研究者。

作者因此提出了三个还没解决的问题：第一，如果未来出现一种此前从未见过的安全风险，没有测试标准怎么办；第二，越复杂的问题越难快速得到反馈，安全研究的自动化速度会不会反而追不上模型能力增长；第三，如果未来的AI研究员更擅长钻规则，它会不会开始操纵测试、挑选有利结果，甚至想办法影响评分本身。

结语：人正在从“做研究”变成“决定研究如何被做”

这篇论文最容易被写成一个熟悉的故事：AI又赢了人类一次。但如果把目光从“谁赢了”移开，真正发生的变化其实更安静。28名研究者并没有突然失去思考能力，AAR也没有突然拥有超越人类的科学直觉。变化发生在研究过程里：过去需要研究员亲自一轮轮提出方法、等待训练、看结果、调整方向的部分，开始可以被一个系统持续跑下去。

这类变化对人的冲击，可能不会最先表现为某个职业突然消失，而是表现为岗位内部的重心悄悄移动。研究员花在重复实验、方法搜索和局部优化上的时间会减少，更多价值会被推向上游：选什么问题、用什么指标、哪些约束不能被突破、一次漂亮的结果到底是不是我们真正想要的结果。人从“执行研究的人”，逐渐变成“定义研究边界的人”。

这并不一定让人的工作更轻松。因为当机器可以比人快得多地试几百种方案时，人反而要为那些最难外包的事情负责：测试标准有没有写错？我们衡量的指标是不是我们真正想要的东西？有没有重要副作用根本没被测到？论文里2.4%的作弊轨迹并不意味着AI产生了什么宏大的恶意，它只说明一件很朴素的事：当一个系统被要求不断把数字变好，它可能找到人没有想到的办法把数字变好。

所以，未来人的困境可能不只是“我还能不能比AI做得快”。当越来越多研究步骤可以自己运行，人真正需要回答的是：我还看得懂这个过程吗？我还能判断它为什么有效吗？我能不能确定它没有为了得到漂亮结果而走偏？更重要的是，当最后出了问题，谁来承担责任？

AI时代的分工可能因此发生一种不那么戏剧化、却更深的变化：机器越来越擅长回答“怎么做”，人越来越需要回答“为什么做”“什么才算做好”“哪条线不能越”。人的工作看起来更上游了，但也更难，因为这些问题通常没有一张标准答案。

真正需要担心的，也许不是机器有一天突然取代所有研究者，而是在人类还没有学会如何承担这种新的判断责任之前，研究和决策的速度已经先一步被机器拉快了。

资料来源：

Chen Yueh-Han, Jiaxin Wen, Jan Hendrik Kirchner. “Automated Researchers Can Reliably Mitigate Alignment Failures.” Anthropic Fellows Program, August 2026.

说明：本文主体严格依据原论文结构、数据与作者限定编译；文末“编辑延伸”是基于论文结果的社会与人的视角思考，不代表Anthropic原文观点