(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216437.X (22)申请日 2022.09.30 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 李安虎　孟天晨　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 陈金星 (51)Int.Cl. B25J 9/16(2006.01) B25J 19/02(2006.01) G06T 7/246(2017.01) G06T 7/68(2017.01) G06T 7/80(2017.01) (54)发明名称 一种眼看 手机器人控制装置及方法 (57)摘要 本发明涉及一种眼看手机器人控制装置及 方法， 所述装置包括机器人、 上位机、 标靶、 测量 组件和标定板， 靶标固装于相机正前方， 且靶标 的十字准线与相机中图像的中心准线完全重合； 测量组件包括棱镜组件和相机， 设置于所述机器 人的周围， 所述棱镜组件设置在靶标和相机之 间， 且相机的视轴和棱镜组件的光轴保持同轴； 标定板设置于机器人机械臂末端且位于相机视 场内； 上位机分别与机器人、 相机以及棱镜组件 连接。 与现有技术相比， 本发明在相机固定的情 况下， 通过上位机控制棱镜组件旋转， 从而带动 相机视场位置进行调整， 有效扩 大了单个相机以 及机器人的工作范围， 实现测量组件对机器人机 械臂末端的实时动态测量。 权利要求书2页 说明书8页 附图3页 CN 115519543 A 2022.12.27 CN 115519543 A 1.一种眼看手机器人控制装置， 其特征在于， 包括机器人(5)、 上位机(6)、 标靶(3)、 测 量组件和标定 板(4)； 所述测量组件设于 机器人(5)的周围； 所述测量组件包括相机(1)和棱镜组件(2)， 所述标靶(3)固装于相机(1)的正前方， 所 述棱镜组件(2)设于相机(1)和标靶(3)之间； 所述上位机(6)分别与机器人(5)、 相机(1)及棱镜组件(2)相连； 所述棱镜组件(2)包括棱镜、 转镜组件和驱动组件， 所述棱镜设于转镜组件上， 所述转 镜组件和驱动组件相连； 驱动组件用于带动转镜组件进行转动； 所述标定 板(4)设置 于机器人(5)的机 械臂末端。 2.根据权利要求1所述的一种眼看手机器人控制装置， 其特征在于， 所述相机(1)的视 轴与所述 棱镜组件(2)的光轴保持同轴。 3.根据权利要求1所述的一种眼看手机器人控制装置， 其特征在于， 所述标靶(3)的十 字准线与相机中图像的中心准线重合。 4.根据权利要求1所述的一种眼看手机器人控制装置， 其特征在于， 所述标定板(4)位 于所述相机(1)的视场内。 5.根据权利要求4所述的一种眼看手机器人控制装置， 其特征在于， 所述标定板(4)使 用刚性连接方式与机器人(5)的机 械臂相连。 6.根据权利要求1所述的一种眼看手机器人控制装置， 其特征在于， 所述上位机(6)内 设有图像采集模块和 棱镜位置控制模块， 所述图像采集模块用于控制相 机采集图像， 所述 棱镜位置控制模块用于控制棱镜组件(2)的转动。 7.一种眼看手机器人控制方法， 其特征在于， 用于控制如权利要求1 ‑6任一所述的一种 眼看手机器人控制装置， 实现测量组件对机器人机械臂末端的实时动态测量， 包括以下步 骤： 步骤1， 分别建立世界坐标系、 机器人坐标系、 棱镜组件坐标系以及与棱镜组件相匹配 的相机坐标系； 步骤2， 通过靶标对相机与棱镜组件进行系统标定， 确定棱镜组件中棱镜主截面位置并 完成轴向配准； 步骤3， 上位机控制棱镜组件， 使相机的视轴经过棱镜组件无偏转出射， 此时相机与棱 镜组件配套； 保持相 机不动， 给机器人添加多个位姿， 在各个位姿拍照并识别标定板角点， 以标定相机的内参数； 建立标定 板、 相机及机器人三 者间的关系， 以标定相机的外参数； 步骤4， 设定目标点， 上位机调整棱镜组件及与其配套的相机视轴， 由相机采集棱镜组 件在不同转角下包含目标点的多组图像， 并由可变视轴视觉测量技术获得目标点在相机坐 标系下的三维坐标； 由坐标转换关系获得目标点在机器人坐标系 下的空间坐标； 根据机器 人自身系统参数， 通过 上位机控制引导机器人机 械臂末端至目标点 位置； 步骤5， 设定机器人机械臂末端工作路径， 上位机通过视觉跟踪算法调整棱镜组件及与 其配套的相机 视轴， 实现测量组件 对机器人机 械臂末端的实时动态测量。 8.根据权利要求7所述的一种眼看手机器人控制方法， 其特征在于， 所述步骤2中， 确定 棱镜组件中棱镜主截面 位置并完成轴向配准具体包括以下步骤： 步骤201， 在不连接棱镜组件的情况下， 调整相机与靶标的相对位置， 使靶标的十字准权　利　要　求　书 1/2 页 2 CN 115519543 A 2线与相机中图像的中心准线完全重合； 步骤202， 在相机与靶标之间连接棱镜组件， 并使棱镜平面侧与相机视轴垂直， 调整棱 镜转角， 直至相 机采集图像中靶标的垂直准线与相 机中图像的垂直准线重合， 同时相 机采 集图像中靶标的水平准线位于相机中图像的水平 准线的上方； 即确定棱镜主截面位置且保 证相机、 棱镜和靶标的对准关系。 9.根据权利要求7所述的一种眼看手机器人控制方法， 其特征在于， 所述步骤4中具体 包括以下步骤： 步骤401， 上位机控制棱镜组件转角， 并调整与棱镜组件配套相机的视轴， 使目标点落 入相机的视场中心位置， 相机采集目标点的图像， 并将图像传输 至上位机； 步骤402， 上位机控制多次改变棱镜组件转角， 使目标点始终处于相机的视场范围内， 采集多个目标点图像， 并依次将图像传输 至上位机； 步骤403， 上位机根据棱镜组件不同转角对应的第i组图像， i>0， 由测量组件参数得到 在相机坐标系下的棱镜入射点坐标Fi以及其与目标点之间的空间矢量Si， 基于所述棱镜入 射点坐标、 空间矢量与目标点之间的关系， 联立i个直线方程， 由最小二乘法计算得到目标 点在相机坐标系下的三维坐标。 10.根据权利要求9所述的一种眼看手机器人控制方法， 其特征在于， 所述步骤403中， 将所述在相机坐标系下的棱镜入射点坐标Fi记为 其对应的入射光线 空间矢 量Si记为 则目标点在相机坐标系下的三维坐标(X,Y,Z)T满足以下关系： 则联立i组目标图像列出2i个等式约束条件， 其矩阵形式为： 基于最小二乘法， 采用该约束条件的线性最小二乘解作为目标点在相机坐标系下的三 维坐标(X,Y,Z)T。权　利　要　求　书 2/2 页 3 CN 115519543 A 3