织梦软件展示网站源码,建设工程竣工验收消防备案网站,苏州制作网站哪家好,商派商城网站建设二次开发旷视MegMaster机器人系列是旷视自主研发的一系列AI智能机器人硬件设备#xff0c;基于旷视全球领先的人工智能算法及机器人技术#xff0c;可实现搬运、分拣、托举、存储等功能#xff0c;被广泛应用于物流仓储、工厂制造等场景。旷视SLAM组主要负责多传感器建图、定位、标定…旷视MegMaster机器人系列是旷视自主研发的一系列AI智能机器人硬件设备基于旷视全球领先的人工智能算法及机器人技术可实现搬运、分拣、托举、存储等功能被广泛应用于物流仓储、工厂制造等场景。旷视SLAM组主要负责多传感器建图、定位、标定等工作在开发过程中总结了一些理论和实践方面的经验教训在此分享出来希望能够与大家一起探讨为机器人行业贡献自己的绵薄之力。近期我们会首先推出机器人多传感器标定的系列内容包括:标定系列一 | 基础理论分析标定系列二 | 实践之Camera-Odometry标定标定系列三 | 实践之Camera-Lidar标定本文作者是旷视研究院研究员卢彦斌在文中为大家主要介绍了机器人手眼标定的一些理论基础以及轮式机器人标定中的一些常见做法希望能够给大家一些启发。目录1 手眼标定的理论基础1.1 AXXB1.2 约束条件分析1.2.1 旋转矩阵所需的方程数量1.2.2 平移向量的约束数量2 基于平面运动的外参标定方法2.1 传感器的旋转轴与平面法向量重合2.2 引入其它约束参考文献附录A一、手眼标定的理论基础1.1 手眼标定hand eye calibration是机器人领域中一个历史悠久的问题。这里的手常指的是机械臂眼常指的是安装于机械臂上的相机或者固定于环境中的相机。如下图所示。在实际应用中我们通常需要将相机观察到的外界环境中物体的姿态从相机坐标系转换到机械臂的坐标系中辅助机械臂规划一些后续动作如抓取。为了得到两坐标系之间的转换矩阵我们就要对机器人进行手眼标定。手眼标定有两种常见的标定方法。第一种是通过特殊的标定物第二种是通过机器人运动建立约束。本文主要讨论后一种方法。假设k时刻机械臂相对于世界坐标系的位姿为 相机相对于世界坐标系的位姿为 相机相对于机械臂的位姿 X那么有同样地对k1时刻有 那么令 上式即是 其中A和B表示相邻时刻机械臂和相机的局部运动。机械臂的局部运动可以通过其运动模型推算得到相机的局部运动通常可通过外部的标定板辅助得到。由此手眼标定问题转化为求解 的问题。这里我们称k时刻与k1时刻构成的 的方程为一个测量。1.2 约束条件分析从 方程出发我们分别考虑旋转矩阵R和平移向量t需要的方程数量即测量数量。假设那么 可以转化为1.2.1 旋转矩阵所需的方程数量本小节主要参考文献[1]。由上述等式条件可得首先回顾一下旋转矩阵的性质旋转矩阵有且只有一个实数特征值1不考虑单位矩阵旋转矩阵的实数特征值对应的特征向量即是axis-angle表达式的旋转轴旋转矩阵的迹与旋转角度相关。axis-angle表达式示意图如下所示[6]。旋转矩阵和axis-angle表达式的关系可以由Rodrigues公式表示。其中 , 分别为旋转矩阵的旋转轴和旋转角度 定义如下反对称矩阵有如下性质 旋转矩阵的迹与旋转角度的关系为:假设 分别为 的旋转向量 分别为 的旋转角度那么有即所以 是 的实数特征值对应的特征向量上式说明 的旋转轴经过 变换为 的旋转轴。实际上我们能从上式得到如下关系:证明见附录A。如果令 上式等价于上述方程有一个显然的特解由于 秩为2其一维零空间的基为 。因此 的解为示意图如下图所示。由 的定义可知每个 对应于一个 , 。因此从一个 方程无法求解得到 有一个自由度求解不出来且该自由度会同时影响 , 。下面考虑两组组测量 。关于 的方程变为 有唯一解当且仅当左端方程满秩。文献[1]中证明这等价于 。因此如果我们有两组测量且传感器A等价于B在两组测量中的局部坐标系下旋转矩阵的旋转轴不同那么能够求解得到 。从而根据从Rodrigues公式可以求得 。1.2.2 平移向量的约束数量在已知旋转矩阵的情况下平移向量的约束推导情况较为简单。从一个方程 中我们可以得到同样因为 有非零解 , 不满秩一个测量无法求解出 。当我们有两组测量时文献[1]中证明满秩等价于 。因此如果我们有两组测量且传感器A等价于B在两组测量中的旋转矩阵的旋转轴不同那么能够通过求解方程组求解得到 。二、基于平面运动的外参标定方法机器人上不同传感器之间的外参可以用手眼标定的方式来标定这一般需要机器人在三维空间运动。对于一大类机器人而言其通常被设计成在平面上运动。这种情况下传感器实际上只能绕一个轴即平面法向量旋转其在任何局部坐标系下的旋转运动的旋转轴均保持不变。此时我们能够求解出哪些参数呢假设世界坐标系的XY平面即为机器人的运动平面Z轴为平面法向量。直观上来说两个传感器的安装高度差对于局部旋转和平面上的平移没有影响因此两个传感器各自坐标系的原点在世界坐标系下的z轴高度差是无法观测到的。实际上我们从 的方程能够看出这一点。首先由第一部分我们知道此时旋转轴 在所有的局部坐标系下是一样的。其次我们可以证明 满足所有(A, B)的方程。而 即是世界坐标系z轴在两个传感器局部坐标系下的表达式。针对平面运动下的手眼标定问题我们列举一些典型做法作为参考。2.1 传感器的旋转轴与平面法向量重合以带轮速计的机器人为例通常可以假设轮速计的旋转轴和平面的法向量重合。我们能够证明除了平移向量的z分量其余5个参数都是可观的。以参考文献[2]为例。作者的具体做法如下。第一步通过将 分解为欧拉角的ZYZ表示简化旋转矩阵参数的求解。假设那么旋转矩阵对应的方程变为即已知 的情况下我们可以同时求出 注如果轮速计内参未知那么上述公式可用于提供轮速计的一个约束。于是 变为只有最后一个Z旋转未知的旋转矩阵可代入平移向量的方程中求解。文献[3]是类似的思路同样都是利用A传感器的旋转轴是世界坐标系的z轴的性质先解出旋转矩阵的两个参数再利用平移向量的约束解出其余参数且有一个参数不可观。具体做法会由系列后续文章详细说明。2.2 引入其它约束我们可以引入外界约束以求解所有参数例如2D激光和相机的外参标定通常需要6自由度参数。文献[4]利用V型标定板和棋盘格建立点到面的约束。文献[5]则利用互相垂直的三面体构建直线到平面和点到平面的约束。这部分与本文重点关系较小这里就不分析了。参考文献Tsai, Roger Y., and Reimar K. Lenz. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Transactions on robotics and automation 5.3 (1989): 345-358.2. Antonelli, Gianluca, et al. Simultaneous calibration of odometry and camera for a differential drive mobile robot. IEEE International Conference on Robotics and Automation(2010).3. Guo, Chao X., Faraz M. Mirzaei, and Stergios I. Roumeliotis. An analytical least-squares solution to the odometer-camera extrinsic calibration problem. 2012 IEEE International Conference on Robotics and Automation. IEEE, 2012.4. Dong, Wenbo, and Volkan Isler. A novel method for the extrinsic calibration of a 2D laser rangefinder and a camera. IEEE Sensors Journal 18.10 (2018): 4200-4211.5. Gomez-Ojeda, Ruben, et al. Extrinsic calibration of a 2D laser-rangefinder and a camera based on scene corners. 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015.6. http://www.opengl-tutorial.org/intermediate-tutorials/tutorial-17-quaternions/附录A作者简介卢彦斌北京大学博士目前为旷视研究院高级研究员长期从事三维重建和SLAM技术的产品化工作对机器人、AR等领域有浓厚兴趣作为核心成员参与研发了世界领先的口腔三维真彩扫描仪其产品曾于2015年获得Bronze Edison Award for Innovation。
