(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221082487 7.7 (22)申请日 2022.07.14 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 胡广华　欧美彤　李浩勤　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/776(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向无序分拣场景的工件位姿估计方 法及装置 (57)摘要 本发明公开了一种面向无序分拣场景的工 件位姿估计方法及装置， 其中方法包括： 获取场 景工件的RGB ‑D图像； 将RGB图输入到目标检测模 块中， 获得坐标信息； 根据坐标信息对所述RGB图 像、 深度图像进行裁剪， 并输入位姿估计模型， 获 得RGB‑点云融合特征； 根据RGB ‑点云融合特征 获 取相机坐标系下的关键点、 中心点坐标； 对关键 点、 中心点坐标进行约束； 将约束后的关键点、 中 心点坐标， 与预设的模型坐标系下对应的关键点 坐标和中心点坐标进行配准， 输出目标工件的最 终姿态。 本发 明在模型中引入目标对象的几何特 征约束， 如预测的关键点和中心点的约束， 能够 提高预测结果的准确性。 本发明可广泛应用于位 姿识别技 术领域。 权利要求书4页 说明书11页 附图3页 CN 115359119 A 2022.11.18 CN 115359119 A 1.一种面向无序分拣场景的工件位姿估计方法， 其特 征在于， 包括以下步骤： 获取场景工件的RGB ‑D图像， 其中RGB ‑D图像包括RGB图和深度图； 将RGB图输入到目标检测模块中， 获得目标工件的包围框的坐标信息； 根据获得的坐标信息对所述RGB图像、 深度图像进行裁剪， 将裁剪后的深度图转换成点 云， 将点云和裁 剪后的RGB图像输入位姿估计模型， 获得RGB ‑点云融合特 征； 根据RGB‑点云融合特 征获取相机坐标系下的关键点 坐标和中心点 坐标； 对获得的关键点坐标与关键点坐标的真值进行约束， 对中心点坐标与中心点坐标的真 值进行约束， 对关键点 坐标与中心点 坐标之间的边进行几何约束； 通过3D‑3D映射关系， 将约束后的关键点坐标和中心点坐标， 与预设的模型坐标系下对 应的关键点 坐标和中心点 坐标进行配准， 输出目标工件的最终姿态。 2.根据权利要求1所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 所 述位姿估计模型通过以下 方式训练获得： 获取渲染数据， 获取真实数据并进行 标注， 根据渲染数据获取训练集和验证集； 将训练集中的RGB ‑D图像， 输入目标检测模块中， 获得目标的矩形框信息； 根据矩形框信息对RGB ‑D图像中的RGB图像、 深度图像进行裁剪， 并将裁剪后的RGB图 像、 深度图像输入位姿估计模型； 利用可反向传播的投票机制， 得到关键点 坐标、 中心点 坐标， 以及得到位姿结果； 利用增加的几何约束训练位姿估计模型； 利用迁移学习， 根据真实数据对位姿估计模型进行微调； 采用验证集对训练后的位姿估计模型进行验证。 3.根据权利要求2所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 所 述渲染数据、 真实带 标注数据通过以下 方式获得： 采用blenderproc的渲染数据制作工具箱获取渲染数据集； 所述渲染数据集的组成包 含两部分， 第一部分为对 象生成斐波那契圆均匀采样视点， 同时在每个采样视点采用均匀 的相机自旋角度； 第二部分为堆叠数据， 相机以垂直角度， 随机自旋采样数据， 场景以随机 背景随机灯光进行变换； 对真实数据进行 标注， 包括： 将相机固定于机械臂末端， 通过眼在手上的手眼标定程序， 获得相机相对于机械臂基 坐标姿态； 其中， 通过以下公式获取真实数据的相机姿态： 式中， 是物体j在第i帧下物体相对于相机的姿态， 是第0帧物体j在相机坐标 系下的姿态， 是第i帧相机姿态的逆矩阵。 4.根据权利要求3所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 获 取数据后， 对获取的数据进行筛 选， 删除可 见比例低的目标对象； 其中， 可见比例的定义如下： 式中， ptotal指的物体在某个视角全部像素可见情况下的所有像素总和， pshow指的是实 际可见像素。权　利　要　求　书 1/4 页 2 CN 115359119 A 25.根据权利要求2所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 所 述关键点 坐标和中心点 坐标通过以下 方式获得： 位姿估计模型回归得到基于目标参 考点的关键点偏置和中心点偏置； 对特定的某个关键点来说， 即获得了该关键点的一个预测集合， 通过对得到的关键点 集合采用可反向传播的投票机制， 获得关键点 坐标； 所述可反向传播的投票机制的表达式如下： 式中， 中i为场景中目标参考点， j代表第j个关键点， 代表目标参考点对第j个关键 点的置信度； 为通过投票得到的相机坐 标系下第j个关键点的坐标值； 为目标参考点估 计的第j个关键点的坐标值， n 为被选择的场景中目标参 考点的总数目； 置信度计算公式如下： 式中， 为阈值， 表示被选择的目标参考点估计的第j个关键点的坐标值的集 合。 6.根据权利要求2所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 训 练过程中， 采用组合损失函数比较模型回归预测的值与真实标注值的差异， 根据比较获得 的差异训练所述 位姿估计模型； 其中， 所述组合损 失函数包括目标分割损 失函数， 基于目标参考点的关键点偏置损 失 函数， 基于目标参考点的中心 点偏置损失函数， 关键点中心 点边向量偏置损失函数， 关键点 损失函数， 以及中心点损失函数。 7.根据权利要求6所述的一种面向无序分拣场景的工件位姿估计方法， 其特征在于， 所 述组合损失函数的表达式如下： Loss＝w1Lkp_v+w2Lcenter_v+w3Lseg+w4Lkp+w5Lcenter+w6Lcenter_kp_v 式中， w1、 w2、 w3、 w4、 w5、 w6为损失函数的权 重； 其中， 关键点偏置损失函数为： 式中， M是目标关键点， N是被随机选择的场景点云， Ωk为多义性关键点集合， ofijk*为关 键点的真实偏 置， ofij为场景中第i个点对第j 个关键点的实际偏 置； II式代表只有当pi属于 目标实例I上的点， 式子才成立； 中心点偏置损失函数为：权　利　要　求　书 2/4 页 3 CN 115359119 A 3