(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210217497.7 (22)申请日 2022.03.07 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 陈颖　李嘉麟　付威福　刘永　 汪铖杰　 (74)专利代理 机构 北京励诚知识产权代理有限 公司 11647 专利代理师 熊金凤 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/70(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 物体特征点匹配方法及 装置、 训练方法及装 置 (57)摘要 本申请公开了一种物体特征点匹配方法、 特 征匹配网络的训练方法、 装置、 介质及计算机设 备， 可应用于图像配准如机械臂抓取中对目标物 体的位姿进行估计， 在对物体进行质检时对 敏感 区域或屏蔽区域的计算。 该方法包括： 获取目标 物体的当前点位图像及模板特征信息， 模板特征 信息包括预先通过特征提取模型提取目标物体 在多个点位图像中的感兴趣区域ROI区域图像的 特征点； 对当前点位图像进行图像 分割以得到当 前ROI区域图像， 并利用特征提取模型对当前 ROI 区域图像进行特征提取处理， 以得到目标特征信 息； 利用特征点匹配网络对目标特征信息和模板 特征信息进行匹配处理， 以使得目标物体的特征 点与模板特 征信息匹配 。 权利要求书3页 说明书15页 附图8页 CN 114663686 A 2022.06.24 CN 114663686 A 1.一种物体特 征点匹配方法， 其特 征在于， 包括： 获取目标物体的当前点位图像及模板特征信 息， 所述模板特征信 息包括预先通过特征 提取模型提取 所述目标物体在多个点 位图像中的感兴趣区域ROI区域图像的特 征点； 对所述当前点位图像进行图像分割以得到当前ROI区域图像， 并利用所述特征提取模 型对所述当前ROI区域图像进行 特征提取处 理， 以得到目标 特征信息； 利用特征点匹配网络对所述目标特征信 息和所述模板特征信 息进行匹配处理， 以使得 所述目标物体的特 征点与所述模板特 征信息匹配。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述当前点位图像进行图像分割以 得到当前ROI区域图像， 并利用所述特征提取模 型对所述当前ROI区域图像进 行特征提取 处 理， 以得到目标 特征信息包括： 对所述当前点位图像进行图像分割以得到所述当前ROI区域图像， 并对所述当前ROI区 域图像与所述模板ROI区域图像进行相似度计算， 以得到第一相似度； 在所述第一相似度低于预设阈值的情况下， 利用所述特征提取模型对所述当前ROI区 域图像进行 特征提取处 理， 以得到所述目标 特征信息。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述当前点位图像进行图像分割以 得到所述当前ROI区域图像， 并对所述当前ROI区域图像与所述模板ROI区域图像进行相 似 度计算， 以得到第一相似度包括： 获取所述模板ROI区域图像的模板像素坐标， 和所述当前ROI区域图像的当前像素坐 标； 计算所述当前像素坐标与所述模板像素坐标之间的第一重 叠率； 根据所述第一重 叠率确定所述第一相似度。 4.根据权利要求2所述的方法， 其特征在于， 所述方法在利用特征点匹配网络对所述目 标特征信息和所述模板特征信息进行匹配处理， 以使得所述目标物体的特征点与所述模板 特征信息匹配之后还 包括： 根据所述特征点匹配的结果， 对所述当前点位图像进行位姿估计， 以得到所述目标物 体的位姿； 对所述位姿进行坐标变换， 以得到校准后的目标位姿； 根据所述校准后的目标位姿对所述当前ROI区域图像与所述模板ROI区域图像进行所 述相似度计算， 得到第二相似度； 根据所述第二相似度生成输出信息 。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述校准后的目标位姿对所述当 前ROI区域图像与所述模板ROI区域图像进行 所述相似度计算， 得到第二相似度包括： 获取所述模板ROI区域图像的模板像素坐标， 和所述坐标变换后的当前ROI区域图像的 变换像素坐标； 计算所述变换像素坐标与所述模板像素坐标之间的第二重 叠率； 根据所述第二重 叠率确定所述第二相似度。 6.根据权利要求4所述的方法， 其特征在于， 所述对所述位姿进行坐标变换， 以得到校 准后的目标位姿包括： 获取模板特 征信息中对应的第一尺度和第一偏移；权　利　要　求　书 1/3 页 2 CN 114663686 A 2获取当前ROI区域图像对应的第二尺度和第二偏移； 根据所述第一尺度、 所述第一偏移、 所述第二尺度及所述第二偏移对所述位姿进行坐 标变换， 以得到所述校准后的目标位姿。 7.根据权利要求1所述的方法， 其特征在于， 所述模板特征信 息包括预先通过特征提取 模型提取目标物体在多个点 位图像中的感兴趣区域ROI区域图像的特 征点包括： 对目标物体进行M个点位采样， 以得到所述目标物体的M个模板点位图像， 其中， M为自 然数； 对所述M个模板点 位图像分别进行图像裁 剪， 以得到 M个模板ROI区域图像； 将所述M个模板ROI区域图像的边长进行放大至预设值， 并提取所述放大后的M个模板 ROI区域图像的特 征点和特 征描述子； 将所述特 征点和特 征描述子进行存 储， 以得到所述模板特 征信息。 8.一种特 征点匹配网络的训练方法， 其特 征在于， 包括： 获取历史点 位图像并进行 数据增强处 理， 以生成训练图像对； 利用特征提取模型对所述训练图像对进行 特征提取， 得到训练特 征信息； 将所述训练特征信 息的特征点位置坐标发送至由多层感知机构 成的编码器进行处理， 以得到局部特 征； 利用线性注意力 机制对所述局部特征进行多次迭代， 并利用迭代算法对所述多次迭代 的结果进行处 理， 以得到匹配的特 征点； 根据所述匹配的特征点建立损失函数以对所述编码器及所述线性注意力机制进行优 化， 在满足训练条件的情况下， 将所述优化后的编码器及线性注意力机制确定为所述特征 点匹配网络 。 9.根据权利要求8所述的方法， 其特征在于， 所述获取历史点位图像并进行数据增强处 理， 以生成训练图像对 包括： 对所述历史点 位图像进行像素内容变换， 得到第一图像和第二图像； 根据预设边框对所述第一图像进行选取， 以得到第一子图像； 对所述预设边框的坐标像素进行随机扰动处 理， 以得到随机边框； 对所述第二图像和所述随机边框进行图像仿射变换处 理， 以得到变换图像； 根据所述预设边框对所述变换图像进行选取， 以得到第二子图像； 根据所述第一子图像和所述第二子图像确定所述训练图像对。 10.一种特 征点匹配装置， 其特 征在于， 包括： 获取单元， 用于获取目标物体的当前点位图像及模板特征信息， 所述模板特征信息包 括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域 ROI区域图像的特 征点； 特征提取单元， 用于对所述当前点位图像进行图像分割以得到当前ROI区域图像， 并利 用所述特 征提取模型对所述当前ROI区域图像进行 特征提取处 理， 以得到目标 特征信息； 特征匹配单元， 用于利用特征点匹配网络对所述目标特征信 息和所述模板特征信 息进 行匹配处 理， 以使得 所述目标物体的特 征点与所述模板特 征信息匹配。 11.一种特 征点匹配网络的训练装置， 其特 征在于， 包括： 数据增强单 元， 用于获取历史点 位图像并进行 数据增强处 理， 以生成训练图像对；权　利　要　求　书 2/3 页 3 CN 114663686 A 3