网络营销的形式网站营销,第一推是谁做的网站,怎样做网页推广,西安网站改版的公司说明#xff1a;本文是Techbeat平台上李淼博士的讲座#xff1a;“基于模仿学习的机器人抓取与操控”的总结笔记。原视频#xff1a;TechBeat - 让AI大有可为www.techbeat.net视频介绍#xff1a;近四十年来#xff0c;研究人员对机器人抓取的研究逐渐深入#xff0c;涉…说明本文是Techbeat平台上李淼博士的讲座“基于模仿学习的机器人抓取与操控”的总结笔记。原视频TechBeat - 让AI大有可为www.techbeat.net视频介绍近四十年来研究人员对机器人抓取的研究逐渐深入涉及如机械臂设计、接触力学、机械臂运动学、物体抓取动力学等多个维度。尽管在学术界取得了长足的进步但是将这些理论知识运用到工业届和现实应用中仍然存在不小的困难。在本次演讲中首先将从以物体为中心的角度总结机器人抓取面临的主要挑战以此来阐述实验室算法与工业应用之间的障碍。然后李淼博士将介绍库柏特科技最近的工作进展开发一个统一的、基于学习的系统来展示各种机器人抓取的过程的系统。基于模仿学习很多工业机器人抓取任务可以被快速部署、优化并适应各种场景。此外他将通过一些实际案例来说明如何构建一个稳定的、可以抓取超过10万个不同的对象的物流拣选系统。笔记1.传统基于物理模型的方法可以分成手的动力学模型、物体的动力学模型但是手的模型中的摩擦力是无法测量的这部分无法建模。同时物体的重力和惯性模型也是无法测量的只有提前对物体建模才行无法适应于所有问题同时还有一些外界干扰力。2.经典抓取方法一般抓取的时候先将物体模型存入database中在进行抓取的时候首先对物体进行识别object recognition看它是可以归属为database中的哪一类然后通过姿态检测pose estimation确定物体姿态从而在匹配数据库中的最优抓取点grasp selection。2.1场景分割将不同物体在场景中分割出来区分出是不同的物体。2.2目标检测与表示对物体进行表示是通过深度图还是polyhedron还是通过语义的方式同时怎么去对物体进行识别2.3抓取传统方法中有基于搜索的抓取方法也有基于优化的抓取方法。搜索的类似工作可以参考find antipodal point on irregular object然后再进行抓取质量评估。优化方法要对物体外形进行隐式建模如果建模成point cloud这种离散点就没办法进行穷尽搜索优化然后找到所有的约束再通过优化抓取较为简单的物体同时耗时极长。2.4抓取执行抓取执行需要是一个序列化的过程如何确定动作序列也是问题2.5经典方法的问题3.新方法3.1如何解决老问题仿真解决标签和验证问题更多的传感器反馈包括视觉及触觉深度学习则对这些传感器信息进行建模。3.2场景分割3.3物体表示识别传统方法中点云有限制而如今可以使用点云补全技术。3.4抓取规划基于仿真数据确定抓取policy知道很多的3D形状可以通过物理引擎仿真来在仿真模型中生成多个抓取点然后通过物理引擎判断是否抓取成功最后生成抓取成功的policy或者net。但是需要确定物理引擎是否足够好policy是否具有泛化能力其实基于深度学习的算法和以往的方法本质都是基于搜索的方法只不过深度学习可以融合多模态进行了一个特征提取建议所有人看一些autoencoder decoder的内容。3.5运动执行第一个14年的论文就是典型的基于数据的学习只关注已知的传感器信息如触觉、物体外形。然后采集大量的数据通过高斯混合模型拟合找到最合适的抓取位置。第二篇论文非常有挑战性的工作根据实时反馈调整抓取策略形成closed loop。第三篇 谷歌端到端4.未来方向5.From Lab to production问题从哪获取train data无限的testing data如何保证都可以workdeep learning部分的运行时间nice result需要根据客户确定准确率可能需要99.9999%问题总结1.deeplearning的一个的概率性的方法而工业要求确定性。2.数据在工业上十分贵。3.工业要求成功率极高可能需要99.9999%。4.工业上有很多conner case。5.工业上的1ms十分重要实时性问题。6.风险问题。
