Meta FAIR Introduces AI Research Preference Models (RPMs): Ranking ML Experiments Before Spending GPU Hours

📋总体概括

Meta FAIR联合牛津大学与UCL提出AI Research Preference Models（RPMs），用冻结的LLM作为评审器，在AI研究代理提出的15个未执行候选实验中排序挑选，只执行最优的一个，从而把稀缺的GPU算力花在刀刃上。在AIRS-Bench评测中，平均归一化得分从0.684提升至0.729，基线需要24小时才能达到的结果被压缩到约15小时。这项工作的意义在于为自主研究代理补上「实验选择」这一环：当代理能提出远超预算的实验时，先排序后执行成为控制成本、提升研究效率的关键机制。