这项由复旦大学与上海创新研究院联合完成的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.02466有兴趣深入了解的读者可通过该编号查阅完整原文。**机器人学什么这个问题比你想的复杂得多**假设你要教一个从没拿过任何东西的人学会做寿司。通常的做法是请来一位大厨让他一边演示一边讲解——先这样握刀、然后把鱼片切成这个厚度……这个过程需要大厨的时间需要录像设备需要整理标注成本极高。更关键的是这个人的每一个动作都依赖于大厨的指点自己没有探索过任何东西。当今最先进的机器人训练方式走的几乎就是这条路。研究人员需要雇用操控员让他们戴上操控设备一遍又一遍地远程遥控机器人完成各种任务比如把胡萝卜放到盘子里或者把南瓜推到左边。每一条这样的演示数据都需要人类全程参与既耗时又昂贵。谷歌、斯坦福等机构积累的顶级机器人数据集动辄包含上百万条这样的演示背后是巨大的人力投入。正因如此当前机器人智能面临一堵难以翻越的数据墙——机器人能做多少事几乎完全取决于人类愿意花多少代价来演示。复旦大学的研究团队在这篇论文中提出了一个不同寻常的问题我们真的需要每一个动作都有人类来演示和标注吗他们的答案是不需要。他们认为机器人的学习其实可以分成两件本质不同的事——学会怎么动以及学会该做什么。前者不需要任何人类指令后者才需要。由此他们设计了一套名为任务无关预训练Task-Agnostic Pretraining简称TAP的训练框架让机器人先通过大量廉价的、没有任何标注的互动数据来掌握运动能力再用少量带标注的专家演示数据来学习该做什么。结果相当出人意料在标准模拟测试平台上TAP的表现超过了使用超过一百万条专家演示训练的顶级模型而在真实机器人实验中面对摄像头被人为移动位置这样的干扰其他顶级模型的成功率直接跌至零TAP却依然维持了25%的成功率。---**一、婴儿是怎么学会抓东西的——比较发育学给机器人的启发**在讲研究本身之前有必要先理解研究团队的出发点因为这个出发点来自一个日常生活中非常熟悉的观察。回忆一下婴儿是如何学会使用双手的。一个六个月大的孩子从来没有人正式教过他如何抓握——没有父母站在旁边说手指要这样弯曲施加这么大的力气。孩子是通过不断地乱抓、乱摸、把东西推倒再捡起来的过程逐渐建立起对物体的感知能力的。这种探索没有目标没有任务纯粹是好奇心驱动下的随机互动。但正是通过这些无目的的互动孩子积累了关于物理世界的丰富经验圆形的东西会滚轻的东西容易被推走软的东西捏起来手感不同……这些知识在孩子后来真正学着去拿那个红色的球时发挥了至关重要的基础作用。研究团队认为机器人的学习完全可以借鉴这个逻辑。一个机器人在真正被部署到任务场景之前完全可以先像婴儿一样乱玩一通——推推桌上的东西随机移动机械臂观察世界如何对自己的动作做出反应。这个过程不需要任何人类指令只需要一台摄像头记录下动作前和动作后的画面。这种数据在机器人学领域几乎是随手可得的但长期以来被研究者丢弃因为它没有语言标注没有任务说明被认为是无用数据。TAP框架的核心贡献就是发现并证明了这些无用数据其实并不无用——它们是教会机器人怎么动的天然素材。---**二、废弃数据是个宝——任务无关数据的两大来源**既然要用没有标注的互动数据来训练那么这些数据从哪里来研究团队识别出两类随手可得的数据来源它们在传统训练流程中都被扔进了垃圾桶。第一类来自现有的大型数据集。目前机器人领域已经积累了一些大型数据库比如BridgeData和Open X-Embodiment数据集里面包含了各种任务的机器人操作视频。但问题是这些数据集中有大量的演示和你当前想训练的任务根本不相关。比如你想训练机器人把胡萝卜放到盘子里但数据库里还有大量打开抽屉、擦桌子的视频。在传统训练方式下这些不相关的演示直接被丢掉了。然而打开抽屉这个动作其实包含了大量宝贵的物理知识机械臂如何精准接触目标、如何施力、如何感知阻力。这些知识对于后来学把胡萝卜放到盘子里来说有相当大的迁移价值。第二类则更激进——让机器人自己去随机探索产生数据。研究团队为此设计了一套自动化数据采集流程。具体做法是先由人类操作员在机器人工作台上随意移动机械臂密集覆盖机械臂能够到的空间采集一批安全姿态作为基础姿态库。然后系统从这个姿态库中随机抽取路径点生成机械臂运动轨迹并且加入一个约束规则如果机械臂在空中停留太久系统会强制让它下降去碰触桌面确保产生真实的物理接触动作而不是无意义的空中挥舞。整个过程中人类的介入被降到最低大约每三十分钟来换换桌上的道具就行了。这套流程产生的数据研究团队称之为自主随机玩耍数据——机器人在无人监督的状态下持续推、戳、扫桌上的各种物品积累了大量有效的物理互动经验。---**三、逆向动力学——从结果反推过程的训练技巧**有了这些无标注的互动数据下一步是让模型从中学到东西。具体怎么学这里有一个关键的技术设计它有个听起来有点绕的名字逆向动力学Inverse Dynamics。用一个日常场景来理解这个概念。假设你拿到了两张照片第一张是一个苹果好好地放在桌上第二张是同一个苹果已经翻倒在桌子边缘。你能猜出两张照片之间发生了什么动作吗多半能——有人推了一下苹果大概从右边轻轻一推。这就是逆向动力学在做的事给模型看变化前和变化后的画面让模型去猜中间发生了什么动作。这个训练方式有一个非常重要的副作用它迫使模型去关注画面中真正发生变化的东西。苹果的位置变了所以模型必须盯着苹果看机械臂的角度变了所以模型必须追踪机械臂。而那些没有变化的东西——背景的木纹桌上的灯光左角的咖啡杯——统统被模型学会忽略因为它们对预测发生了什么动作没有任何帮助。这恰恰解释了为什么用这种方式训练出来的模型对背景变化有更强的抵抗力。模型从一开始就没有依赖背景特征它学到的是物体和机械臂之间的关系而不是在这种特定背景下做这个动作。在技术层面研究团队将这个逆向动力学训练公式化为给模型输入当前时刻的画面和下一时刻的画面让模型预测这两帧之间发生的具体动作机械臂在x、y、z三个方向分别移动了多少旋转了多少角度以及手爪是否张开。模型通过最小化预测动作和真实动作之间的误差来不断优化自己。整个过程中没有任何语言描述没有任何任务说明模型纯粹在学习画面变化与动作之间的对应关系。---**四、两阶段训练框架——先练身体再练大脑**整个TAP框架分为两个阶段它们的逻辑关系就像体育运动员的训练体系先练基本功再练战术配合。第一阶段完全不涉及任何语言指令。模型接收的是大量的无标注互动数据通过前面说的逆向动力学目标学会理解物理世界的运作规律——机械臂如何精准触及目标、物体如何响应推力、什么样的视觉变化意味着什么动作。这个阶段的模型就像一个接受了密集体能训练的运动员身体素质极好但还不知道具体要打什么比赛。第二阶段才引入语言指令和少量专家演示。模型需要学习的是当有人说把胡萝卜放到盘子里时如何把这句话映射到它在第一阶段已经学会的物理能力上。这个阶段需要的数据量极少因为模型不需要重新学习如何控制机械臂——那已经学好了。它只需要学会语言指令和物理动作之间的对应关系。研究团队用一个很形象的比喻来说明为什么这个过程有效第一阶段建立的是如何移动的通用能力空间第二阶段的语言对齐实际上只是在这个空间里找到正确的出发点。如果没有第一阶段模型既要学语言理解又要从零开始学物理控制两件事混在一起往往两件都没学好尤其在数据稀缺的情况下。在架构选择上研究团队以Qwen2.5-VL一个有三十亿参数的视觉语言模型作为骨干网络配合SigLIP视觉编码器处理图像输入以及一个轻量级的两层全连接网络作为动作输出头。模型输出的动作是相对位移而非绝对坐标——也就是说机械臂应该从当前位置向哪个方向移动多少而不是直接去某个固定的空间坐标。这种设计使得物理能力更容易在不同任务和不同环境配置之间迁移。---**五、在模拟器里的表现——用废弃数据击败百万条专家演示**研究团队在一个名为SIMPLER的标准机器人测试平台上进行了大规模评估这个平台使用WidowX机械臂设置了四种不同的操作任务把汤勺放到布上、把胡萝卜放到盘子里、叠积木、把茄子放进篮子。每种任务都从两个维度评估机械臂能否成功抓起目标物体称为部分成功以及能否完成完整任务包括精确放置称为完整成功。在实验设置上研究团队做了一个重要的公平性处理OpenVLA、NORA、π?等顶级模型都用了和TAP完全相同的、仅有五千条专家演示的数据进行第二阶段微调以便公平对比。而TAP的第一阶段则使用了两万条从Bridge数据集中剥离出的、原本与目标任务无关的轨迹数据。结果如何TAP在综合成功率上达到了33.32%而使用相同架构但没有第一阶段预训练的标准行为克隆基线只有23.15%——这意味着TAP在完全相同的专家数据量下成功率提升了约十个百分点。更有说服力的是TAP的表现超过了RT-1-X3.03%和OpenVLA7.75%这两个使用了超过百万条专家演示数据预训练的顶级模型与Octo31.31%大致持平虽然略低于π?40.08%但已经非常接近。特别值得关注的是部分成功率这个指标。部分成功衡量的是机械臂能否成功抓起目标物体这几乎完全取决于物理控制能力与语言理解几乎无关。TAP在这个指标上达到了45.82%与Octo的42.30%相当接近π?的53.10%——而这两个模型都是用海量标注数据预训练的。这个结果非常清晰地支持了研究团队的核心假设物理操控能力确实可以在没有任何语言监督的情况下单独学习并达到相当水准。随着第一阶段预训练数据量从八千条增加到一万四千条再到两万条TAP的综合成功率也从24.47%、30.21%单调提升到33.32%呈现出清晰的数据规模效应而且曲线还没有明显的饱和迹象意味着用更多数据还能继续提升。---**六、真实机器人上的测试——当背景换了一块桌布其他模型就瞎了**模拟器里的结果固然重要但真正考验一个机器人训练方法的是在物理世界里。研究团队在真实的WidowX 250机械臂上进行了超过六百次实验设置了两个任务把胡萝卜放到盘子里以及把南瓜推到左边。这两个任务被选择是有原因的第一个测试精准抓取第二个测试非抓取式的推动操作——后者要求机器人能持续施力并对球形物体的滚动偏移做出实时反应难度更高。为了测试模型在超出训练分布时的表现研究团队设计了五种测试场景难度逐级递增。在标准场景下TAP的成功率分别是40%抓胡萝卜和75%推南瓜与使用了大量OXE数据集预训练的NORA模型65%和85%存在一定差距这是正常的毕竟NORA的预训练数据量要大得多。真正分出胜负的是后面几个扰动场景。当桌上摆了一堆乱七八糟的水果作为视觉干扰时基线模型的成功率骤降到5%NORA降到60%但TAP依然维持在65%的推南瓜成功率并且在抓胡萝卜任务上也保持了30%。这说明TAP在第一阶段学到的是追踪目标物体和机械臂之间的因果关系旁边多几个不相关的水果对它的判断几乎没有影响。当桌布换成一块颜色鲜艳的布料时——背景纹理发生了根本性变化——NORA在推南瓜任务上的成功率降到55%基线模型直接跌至0%而TAP依然保持65%完全没有受到影响。更极端的是摄像头位置被人为移动的情况这相当于给机器人换了一双眼睛的视角NORA和基线模型的成功率双双跌至0%TAP仍然分别保持了15%抓胡萝卜和25%推南瓜的成功率。从五种场景的平均成功率来看TAP的推南瓜综合成功率达到61%反而略高于NORA的56%。这意味着仅靠三十小时的无人监督随机玩耍数据加上二百条专家演示TAP在复杂、多变的真实世界场景中实际上已经超越了需要上百万条专家演示才能达到的基线水准。---**七、为什么有效——注意力地图揭示的机器视觉秘密**为了理解TAP为何在背景扰动下表现得如此稳健研究团队使用了一种叫做Grad-CAM的可视化技术让模型告诉我们它在看什么地方——也就是哪些区域的图像像素对它的决策影响最大用热力图的形式呈现出来。经过第一阶段预训练没有任何语言输入的模型注意力几乎完全集中在机械臂和目标物体上——在模拟器场景中是胡萝卜在真实场景中是南瓜。木纹背景、桌面细节全部被抑制热力图在那些区域几乎一片冷色。这个结果直接验证了逆向动力学训练的设计逻辑要预测发生了什么动作你必须追踪发生变化的东西而背景是不变的所以模型自然学会了忽略它。进入第二阶段加入语言指令后注意力图发生了有趣的变化焦点从物体进一步收窄到了机械臂本身。研究团队的解释是语言指令起到了一种剪枝的作用——在第一阶段模型识别到多个潜在的可操作物体不确定该关注哪一个加入把胡萝卜放到盘子里这条指令后模型锁定了执行者机械臂全力确保动作精准执行。在真实世界的换背景测试中这种注意力模式保持了高度一致——即使桌面变成了一块彩色布料模型的注意力图仍然牢牢锁定在南瓜和机械臂上背景纹理对它几乎没有任何干扰。这从可视化角度直接证明了TAP学到的物理表示具有跨场景的泛化能力。---**八、数据规模实验——预训练的多少决定了能走多高**研究团队还做了一个系统性的双轴扫描实验把第一阶段训练步数从两万步扩展到十万步同时把第二阶段微调步数从两万步扩展到十万步记录所有组合下的最终成功率生成了一张完整的热力图。这张热力图揭示了一个关键规律最终成功率的上限由第一阶段的预训练规模决定而不是由第二阶段的微调步数决定。当第一阶段训练不足只有两万步时无论第二阶段微调多久成功率基本卡在18%左右无法突破。相反当第一阶段训练充分十万步时成功率可以突破30%。在热力图上颜色的深浅沿纵轴第一阶段规模的变化明显大于沿横轴第二阶段规模的变化。这个结果有一个非常直观的含义如果想进一步提升机器人的能力最有效的投入方向不是花更多钱请人类做更多专家演示而是让机器人自己去更多地随机探索积累更丰富的物理互动经验。这个结论对于降低机器人训练成本具有相当大的实践价值。---**九、失败案例分析——它还做不到什么**研究团队对真实机器人实验中的失败案例进行了系统分类发现大约四分之一的失败属于执行层面的问题模型认对了目标打算做正确的事但在精细物理接触环节出了问题——机械臂末端从物体上滑开了、预抓取位置偏差了几毫米、或者从单个摄像头角度难以准确判断物体的深度位置。而另外四分之三的失败属于语义层面的问题物理执行本身非常流畅但做的是错误的事。最典型的场景是桌上有干扰物品时机器人完美地抓起了一个干扰物而不是目标物体。另一种常见的失败模式是在需要连续多步操作的任务中模型卡壳了反复重复某个动作无法推进。这个比例分布——75%的失败是语义问题而非执行问题——恰恰从侧面再次验证了研究团队的核心判断TAP已经把怎么动这一关打得相当好了当前主要的瓶颈在于在复杂语境下搞清楚该做什么这需要更强的语言推理能力是未来需要继续攻克的方向。---**十、这意味着什么——机器人训练范式可能要变了**归根结底这项研究传递了一个简单但具有颠覆性的信息给机器人做大量昂贵的专家演示未必是训练好机器人的唯一路径。机器人自己去玩然后用少量指导来对齐语言这套路线在实验中表现出了令人意外的竞争力。更重要的是这种方式天然产生了对外观变化的鲁棒性因为模型从一开始就没有依赖背景特征而是学会了关注物理世界的因果关系。当然这项研究也有它尚未解决的局限。测试的任务种类相对有限都是单步或少步骤的操作实验的机器人平台只有WidowX一种更复杂的长程操作任务中语义推理的瓶颈尚未被攻克。但作为一个关于廉价数据是否可以替代部分昂贵数据这一问题的初步回答这项工作给出的证据相当有说服力。对于整个机器人研究领域来说这项工作或许意味着数据采集策略本身值得重新设计——与其全力压低专家演示的成本不如先让机器人大量自主探索建立扎实的物理先验再用有限的专家指导来点题。这条路在资源有限的环境下或许走得更远。对文章感兴趣的读者可通过arxiv.org搜索论文编号arXiv:2607.02466查阅完整原文。---QAQ1任务无关预训练TAP和普通机器人训练方式有什么区别A普通机器人训练需要大量人类专家一边遥控机器人完成任务一边录制每条数据都需要人类参与成本极高。TAP把训练分成两步第一步让机器人自己随机探索不需要任何人类指令用这些廉价数据学习基本的物理运动能力第二步才用少量专家演示数据让机器人学会该做什么。这样大幅减少了对昂贵专家数据的依赖。Q2TAP为什么在背景换桌布或摄像头角度变化后还能正常工作而其他模型不行ATAP在第一阶段训练时使用的是逆向动力学方法让模型通过预测两帧画面之间发生了什么动作来学习。因为背景是不变的模型自然学会了忽略背景只关注会移动的东西机械臂和目标物体。所以背景换了也好摄像头角度变了也好模型关注的核心特征并没有消失因此表现稳定。其他基线模型则在训练时把背景特征也学进去了背景一变就找不着北了。Q3TAP用了多少数据和顶级模型相比差距有多大ATAP第一阶段使用约两万条无标注轨迹数据或三十小时的机器人自主探索录像第二阶段使用五千条模拟或两百条真实场景专家演示。相比之下OpenVLA、Octo、NORA等顶级模型都使用了超过八十万到一百万条人类标注的专家演示数据进行预训练。在模拟测试中TAP的综合成功率超过了这些顶级模型在真实场景的多扰动条件下TAP的平均成功率也与甚至超过了这些使用海量数据的模型。