指纹锁在什么网站做宣传好,江苏住房和城乡建设厅官网,2023年正国级干部,建盏名家罗建明简介6 实验
实验目的是验证以下几个问题:
RT-1可以学习大规模指令数据#xff0c;并且可以在新任务、对象和环境上实现zero-shot的泛化能力#xff1f;训练好的模型可以进一步混合多种其他数据#xff08;比如仿真数据和来自其他机器人的数据#xff09;吗#xff1f;多种方…6 实验
实验目的是验证以下几个问题:
RT-1可以学习大规模指令数据并且可以在新任务、对象和环境上实现zero-shot的泛化能力训练好的模型可以进一步混合多种其他数据比如仿真数据和来自其他机器人的数据吗多种方法如何对long-horizon的机器人场景实现泛化?泛化度量如何随着数据数量和数据多样性变化在设计模型方面重要和实践的决策应该是什么他们又将如何影响性能和泛化性?
6.1 实验设置 机器人训练数据的采集是在一个环境下的示教共13个机器人采集然后会放在另外两个不同的环境中进行验证。 Seen task performance即在训练过的任务上来评测但这类数据也存在一定的变化如机器人位置物体位置不同等一共测试了超过200个任务: 36物体抓取任务, 35敲击物体的任务, 35摆放物体的任务,48个移动物体的操作,18个开关不同抽屉的任务和36个从抽屉中取出或者放置物体的任务 Unseen tasks generalization在21个未见的指令任务上进行了测试这里的未见是指组合任务未见但拆分的动作和目标对象是见过的 Robustness进行了30个任务对错误诱导的鲁棒性验证实验和22个背景鲁棒性验证实验如下图所示 Long-horizon scenarios: 测试了机器人需要执行一些列技能的场景在两个厨房场景中测试了15个这样的任务每个任务需要约10个步骤这些步骤由Saycan系统根据高层指令自动产生然后由RT-1执行。
数据 本工作的目标是建立一个高性能机器人控制系统,对新任务具有一定的通用性并对背景和干扰选项具有鲁棒性因此需要采集大量的机器人数据集包括多任务、对象和环境。原始数据集包含约130k机器人示教在13个机器人上耗时17个月采集当前的技能包括抓取放置开关抽屉从抽屉取放东西, 直立地放置细长东西将他们锁住,抽出餐巾纸和打开瓶罐同时技能的扩充是很容易的随着需求扩增数据即可。
6.2 RT-1是否可以学习大规模指令数据并且可以在新任务、对象和环境上实现zero-shot的泛化能力
为回答这个问题首先和先前的几个工作Gato, BC-Z BC-Z XL进行对比比较实验结果表明本方法具有更好的性能和泛化性 为了进一步验证泛化能力我们在厨房环境中进行实验首先根据真实厨房环境与训练环境的差异将其划分成L1-L3三个等级L1表示对新的案台上面布局和不同光照条件的通用性L2表示额外有未见过的诱导物体L3表示额外有较大的新未见任务设置未见物体或者未见位置然后对比不同方法在这三种场景下的成功率。
6.3 训练好的模型可以进一步混合多种其他数据比如仿真数据和来自其他机器人的数据吗
设计了两大类实验(1) RT-1同时在真实数据和仿真数据上进行训练和测试 (2) RT-1在大规模不同任务上机芯训练这些数据来自不同机器人实验结果如下
6.4 多种方法如何对long-horizon的机器人场景实现泛化?
在Saycan的框架下验证RT-1在long-horizon任务上的泛化能力。另外因为移动操作任务同时需要导航和操作因此策略对底盘位置的鲁棒性也很重要底盘可能无法到达期望位置这时机械臂需要一定的鲁棒性。
6.5 泛化度量如何随着数据数量和数据多样性变化?
此部分对数据集的大小和多样性进行消融实验因为数据在传统数据受限的机器人学习中扮演着重要的作用。同时由于数据采集是很昂贵的了解什么样的数据有助于模型实现特定性能和泛化性也是很重要的。
D4 模型消融实验在设计模型方面重要和实践的决策应该是什么他们又将如何影响性能和泛化性?
可能的性能提升猜想包括(i) 模型的容量和表征能力可以通过消融模型大小和试用其他结构来验证(e.g., 移除Transformer部分); (ii)特定的动作表征, 可以使得表征复杂的多模态动作分别更容易可以通过转向连续(正态分布)动作或者自回归动作表征; (iii) ImageNet预训练权重初始化可以通过随机初始化进行验证;(iv)短历史帧输入,可以通过减少观测历史来验证。更具体地消融实验包括(1)减少模型大小(参数了从 35M 降低到 21M), (2) 移除Transformer结构 (使用一个预训练的EfficientNet), (3)使用连续的动作空间(使用MSE损失和 多变量正太分布输出(multivariate normal output)), (4) 自回归训练动作, (5)移除ImageNet的预训练权重初始化, and (6) 移除历史将历史6帧观测减少到当前单帧。
7 结论局限和未来工作
结论
RT-1在超过700个指令任务上达到97%的成功率同时对新任务物体和环境具有比之前工作更好的泛化性.RT-1可以成功吸收多种数据来自仿真环境或者其他机器人不会牺牲在原来任务上面的性能同时改进了对新场景的泛化性展示了这种性能和通用性如何可以被应用到SayCan框架中执行最多可达50步的long-horizon任务。
局限
RT-1是一种模仿学习的方法因此也继承了该类方法的缺陷如无法超越示教者的能力对未见新指令的泛化性来自于以前见过的概念组合对完全未见的指令任务不具备泛化性我们的方法应用在大规模但并不灵巧的操作任务.
未来工作
通过开发允许非专家来训练机器人的方法来加快机器人技能的扩充当前RT-1对错误诱导的鲁棒性很好其对背景和环境的鲁棒性可以通过增加环境的多样性来提升已有工作见diffusion-rosie通过可扩展的注意力和记忆来提升反应速度和文本记忆。
个人见解 RT-1模型上最大的创新在于使用了Transformer网络其架构上也方便进行scale比如输出可以按需增加或者减少同时足以容纳足够多的训练数据另外就是用充足的实验证明了机器人利用模仿学习里的BC训练方法可以从大量数据中学习到较泛化的能力突出了数据的重要性指引了通用机器人的一个研发方向。
