(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201790.0 (22)申请日 2022.09.29 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 颜成钢　魏宇鑫　朱尊杰　许成浩　 高宇涵　王鸿奎　孙垚棋　陈楚翘　 胡冀　殷海兵　张继勇　李宗鹏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种由电机驱动 的旋转扫描装置的手眼标 定方法 (57)摘要 本发明公开了一种由电机驱动的旋转扫描 装置的手眼标定方法， 首先获取彩色、 深度图像 和电机位置编码数据； 使用得到的彩色、 深度图 进行ICP位姿解算， 将电机位置编码数据转换成 电机的旋转角度； 最后解算位姿关系方程得到手 眼位姿变换。 本发明对使用标定板进行手眼标定 的传统方法进行了改进， 进行相机定位时可以不 依赖标定板灵活地在很多场景下进行相机的鲁 棒定位， 在简化标定计算过程的同时， 避免了传 统标定方法中多组相机 ‑标定板、 手坐标系 ‑基坐 标系位姿关系的误差累积。 权利要求书3页 说明书5页 附图1页 CN 115464657 A 2022.12.13 CN 115464657 A 1.一种由电机驱动的旋转扫描装置的手眼标定方法， 其特 征在于， 步骤如下： S1、 彩色、 深度图像和电机位置编码数据的同步获取和保存； S2、 使用得到的彩色、 深度图进行ICP位姿解 算； S3、 将电机位置编码数据转换成电机的旋转角度； S4、 解算位姿关系方程得到手眼位姿变换。 2.根据权利要求1所述的一种由电机驱动的旋转扫描装置的手眼标定方法， 其特征在 于， S1具体方法如下； S11、 图像数据的获取； 使用RGBD相机拍摄场景的彩色图像和深度图像， 采集频率为15HZ； 在获得第一帧图像 时记录下当前图像的时间戳， 以此来作为数据采集的起点； 将每一对彩色、 深度图像使用标 定得到的内参信息进 行去畸变处理， 使用彩色和深度相机之间已知的位姿变换关系将深度 图对齐到彩色图下； 将得到的彩色、 深度图分别按照其对应的时间戳命名， 并将图像数据及 其时间戳信息保存下来； S12、 位置编码数据的获取； 旋转扫描装置的通过嵌入式芯片完成对驱动装置旋转的电机进行控制与数据通讯任 务， 电机通过CA N总线将位置传感器测量得到的位置编码数据传输到嵌入式芯片， 数据采集 的频率为200HZ， 通过电机的位置编码数据的时间戳来得到电机和相机时间上的对应关系， 同时将电机的位置编码数据和对应的时间戳保存下来。 3.根据权利要求2所述的一种由电机驱动的旋转扫描装置的手眼标定方法， 其特征在 于， S2具体方法如下； S21、 对于每对相邻两帧图像， 生成3层图像金字塔， 并对深度图进行滤波， 点云配准以 Coarse‑to‑Fine的方式进行； S22、 在给定深度图像内参情况下， 计算深度相机所采集的图像中每个点的三维坐标， 对于滤波后的深度图像也计算 三维点云坐标； S23、 确定当前帧相机位姿的初始预测值， 迭代求解相机位姿； 开始迭代的预测值设定 为上一帧的最优位姿， 若当前帧为第一帧则 设置为单位阵； 迭代过程中的预测值设置为上 一次迭代得到的最优位姿； 使用该 预测值变换对应帧中三维点的坐标； S24、 对于 两幅点云根据投影算法计算匹配点； S25、 对于匹配点极小化 点到平面距离计算 位姿,误差函数定义如下： S26、 目标函数误差小于设定阈值时， 或者到达设置的迭代次数停止迭代， 否则回到步 骤S23； S27、 迭代直到到达设置的迭代次数， 或者通过非线性优化使得上述目标函数小于设定 阈值时； 记录下相邻两帧之间的位姿变换； S28得到每一帧相对于第一帧的位姿变换， 与该帧的时间戳 一同保存为txt文件。 4.根据权利要求3所述的一种由电机驱动的旋转扫描装置的手眼标定方法， 其特征在 于， S3具体方法如下；权　利　要　求　书 1/3 页 2 CN 115464657 A 2将得到的电机位置编码数据 转换成角度数据， 0 ‑8191的编码对应着0 ‑360度， 角度数据 和对应时间戳保存为txt文件。 5.根据权利要求4所述的一种由电机驱动的旋转扫描装置的手眼标定方法， 其特征在 于， S4具体方法如下； S41、 读取S3步骤中所记录下的带时间戳的电机旋转角度数据， 读取S28步骤中得到的 相机的每一帧相对于起始帧的位姿变换与对应的时间戳； 由于电机的采样频率高于相机的 采样频率， 故可以通过电机时间戳和相 机时间戳的对应关系来确定相 机两帧的旋转， 即统 计相机两帧之间的角度数据来得到电机在两帧之间的旋转角度； S42、 基于 Eye In Hand标定模型确定待求 解的位姿变换 方程； Eye In Hand标定模型需要确定四个坐标系： 相机坐标系、 手坐标系、 标定板坐标系、 基 坐标系； 使用BaseTend2表示相机第i+1帧手坐标系对于基坐标系的位姿变换， 使用end2Tcam2表 示相机第i+1帧相机坐标系对于手坐标系的位姿变换， 使用can2TObject表示标定板坐标系对 于相机第i+1帧坐标系的位姿变换， 由此得到可以得到相机第i+1帧与上一 帧第i帧的位姿 变换关系如下： BaseTend2×end2Tcam2×cam2TObject ＝BaseTend1×end1Tcam1×cam1TObject 对上述式子进行简化处 理得到： end1Tend2×end2Tcam2＝end1Tcam1×cam1Tcam2 式中end1Tend2为手坐标系第i+1帧向第i帧的转换关系， 设定手坐标系y轴为竖直方向， 旋 转为正方向， 根据两帧间电机 旋转角度 θ 生成绕y轴旋转θ 的位姿变换矩阵： 式中cam1Tcam2为相机的第i+1帧向第i帧的转换关系， 通过步骤S41得到的电机在相机两 帧之间的旋转角度计算得到位姿变换矩阵； S43使用Tsai ‑Lenz方法求 解位姿变换 方程得到相机 ‑电机位姿变换； 为简化说明并不失普遍性， 使用g表示手， c表示相机， i、 j表示相机的第i、 j帧； 按照下 述步骤来解算位姿变换 方程； ①使用罗德里格斯公式将旋转矩阵转换为旋转向量； Rgij和Rcij分别为手坐标系和相机坐标系第i、 j帧的位姿变换矩阵的旋转变换部分， rgij、 rcij为对应的旋转向量； ②将旋转向量做归一 化处理；权　利　要　求　书 2/3 页 3 CN 115464657 A 3