资讯

ECCV 2026 专访:让大模型「忘掉XYZ」,RoboTracer 用 3D 空间感知与度量推理重塑机器人轨迹追踪

雷峰网·2026/9/9 02:32:00🔗 原文

📋总体概括

ECCV 2026专访聚焦RoboTracer框架,针对机器人轨迹追踪中的大模型幻觉问题提出解决方案。其核心思路是用像素坐标加绝对深度的3D度量表示替代传统2D像素轨迹,使轨迹追踪具备真实空间感知与度量推理能力;同时通过这一表示方式实现换本体(不同机器人硬件)时无需重训模型,提升跨平台泛化性。该工作把具身智能中的轨迹理解从纯2D图像空间拉回物理3D空间,为机器人操作任务的泛化与迁移提供了新范式。

关键信息

  • RoboTracer入选ECCV 2026,主打机器人轨迹追踪任务中大模型的3D空间感知与度量推理能力
  • 针对大模型在轨迹追踪中的空间幻觉问题,尝试让模型「忘掉」不可靠的2D预测方式
  • 采用像素坐标加绝对深度的3D轨迹表示,使追踪结果具备真实物理尺度和深度信息
  • 换机器人本体时无需重新训练模型,解决了传统方法跨硬件迁移成本高的痛点
  • 3D度量表示有望提升机器人操作任务在不同场景与平台间的泛化能力

🔥犀利点评

机器人领域喊了很久的「具身智能泛化」,卡点恰恰在2D像素坐标这种假3D表示上——模型看见的是屏幕,机器人活在物理世界。RoboTracer用绝对深度做度量推理,方向是对的,换本体不重训也是真痛点。但深度估计本身的误差会沿链条放大,论文到落地之间还隔着传感器噪声和实时性两座大山,先看复现再说。

本文由本站自动聚合,以下为原始来源:前往 雷峰网 阅读全文