(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210679169.9 (22)申请日 2022.06.16 (71)申请人 吉林大学 地址 130012 吉林省长 春市前进大街269 9 号 (72)发明人 怯金阁　高一星　封润洋　王鑫　 杨杰龙　常毅　 (74)专利代理 机构 北京恒博知识产权代理有限 公司 11528 专利代理师 张晓芳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01) (54)发明名称 抓取点识别方法、 装置、 电子设备及计算机 存储介质 (57)摘要 本申请公开了一种抓取点识别方法、 装置、 电子设备及计算机存储介质。 其中， 上述方法包 括： 获取目标状态下的目标物体对应的目标真实 图像； 提取目标真实图像对应的目标真实领域特 征以及目标合成领域特征； 将目标真实领域特征 和目标合成领域特征按照目标权重比例进行融 合， 得到目标物体对应的目标跨域特征； 基于目 标跨域特征确定目标物体对应的抓取点。 本方案 通过将真实领域特征和合成领域特征进行跨域 特征融合， 增强抓取点识别过程的跨域表达能 力， 并基于跨域特征确定物体的抓取点， 实现即 使是面对例如变形空间更大、 抓取困难度更高的 衣物等结构复杂的物体， 也能够识别到精准的抓 取点， 提升抓取点识别的鲁棒 性以及识别精度。 权利要求书2页 说明书14页 附图6页 CN 114998277 A 2022.09.02 CN 114998277 A 1.一种抓取点识别方法， 其特 征在于， 所述方法包括： 获取目标状态下的目标物体对应的目标真实图像； 提取所述目标真实图像对应的目标真实领域特 征以及目标合成领域特 征； 将所述目标真实领域特征和所述目标合成领域特征按照目标权重比例进行融合， 得到 所述目标物体对应的目标跨 域特征； 基于所述目标跨 域特征确定所述目标物体对应的抓取点。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述目标真实领域特征和所述目标 合成领域特征按照目标权重比例进行融合， 得到所述 目标物体对应的目标跨域特征之前， 所述方法还 包括： 获取深度图像集合； 所述深度图像集合包括所述目标状态下已知目标抓取点的物体对 应的真实图像以及合成图像； 提取所述真实图像对应的真实领域特 征以及所述 合成图像对应的合成领域特 征； 将所述真实领域特征和所述合成领域特征按照初始权重比例进行融合， 得到所述物体 对应的跨 域特征； 基于所述 跨域特征确定所述物体对应的预测抓取点； 基于所述预测抓取点以及所述目标抓取点更新所述初始权重比例， 得到所述真实领域 特征和所述 合成领域特 征各自对应的目标权 重比例。 3.根据权利要求2所述的方法， 其特征在于， 所述提取所述真实图像对应的真实领域特 征以及所述 合成图像对应的合成领域特 征， 包括： 提取所述真实图像以及所述 合成图像各自对应的基础特 征； 将所述真实图像以及所述合成图像各自对应的基础特征分别输入各自对应的可变形 卷积网络中， 分别输出所述真实图像对应的真实领域特征以及所述合成图像对应的合成领 域特征。 4.根据权利要求1所述的方法， 其特征在于， 所述提取所述目标真实图像对应的目标真 实领域特 征以及目标合成领域特 征， 包括： 利用预训练的ResNet101模型提取 所述目标真实图像对应的基础特 征； 将所述目标真实图像对应的基础特征分别输入真实领域可变形卷积网络和合成领域 可变形卷积网络中， 分别输出所述目标真实图像对应的目标真实领域特征以及目标合成领 域特征。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述目标真实领域特征和所述目标 合成领域特 征按照目标权 重比例进行融合， 得到所述目标物体对应的目标跨 域特征， 包括： 将所述目标真实领域特 征和所述目标合成领域特 征进行张量 拼接， 得到拼接特 征； 利用多层卷积网络按照目标权重比例对所述拼接特征进行融合， 得到所述目标物体对 应的目标跨 域特征。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标跨域特征确定所述目标 物体对应的抓取点， 包括： 利用全连接网络将所述目标跨域特征映射至预设数量的神经元， 输出所述目标物体对 应的抓取点； 所述 抓取点表征三维空间下 所述目标物体对应的可抓取的位置坐标。 7.根据权利要求1所述的方法， 其特征在于， 所述目标物体为处于悬置状态下的衣物；权　利　要　求　书 1/2 页 2 CN 114998277 A 2所述基于所述目标跨 域特征确定所述目标物体对应的抓取点之后， 所述方法还 包括： 基于所述目标真实图像确定所述衣物的类型； 根据所述 抓取点以及所述衣物的类型进行动作规划； 根据所述动作规划以及所述 抓取点将所述衣物展开至可穿状态。 8.一种抓取点识别装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取目标状态下的目标物体对应的目标真实图像； 第一提取模块， 用于提取所述目标真实图像对应的目标真实领域特征以及目标合成领 域特征； 第一融合模块， 用于将所述目标真实领域特征和所述目标合成领域特征按照目标权重 比例进行融合， 得到所述目标物体对应的目标跨 域特征； 第一确定模块， 用于基于所述目标跨 域特征确定所述目标物体对应的抓取点。 9.一种电子设备， 其特 征在于， 包括： 处 理器和存 储器； 其中， 所述处理器与所述存 储器相连； 所述存 储器， 用于存 储可执行程序代码； 所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序 代码对应的程序， 以用于执 行如权利要求1 ‑7任一项的方法步骤。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指 令适于由处 理器加载并执 行如权利要求1 ‑7任一项的方法步骤。权　利　要　求　书 2/2 页 3 CN 114998277 A 3