(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210220333.X (22)申请日 2022.03.08 (71)申请人 中国农业大 学 地址 100000 北京市海淀区 圆明园西路2号 申请人 北京邮电大 学 (72)发明人 王庆　李史纪　陈洪　明安龙　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 张丽娜 (51)Int.Cl. G06T 19/00(2011.01) G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) (54)发明名称 一种自定义标注叠加位置的增强现实实现 工具 (57)摘要 本发明实施例提供了一种 自定义标注叠加 位置的增强现实实现工具， 实现了增强现实开发 人员对于三维物体精确叠加的需要， 包括： 获取 用户添加的图像信息； 用户根据需求选择是否对 虚拟内容的叠加位置进行标注； 将所述图像信息 进行预处理， 获得预处理图像信息； 将所述预处 理图像信息输入至识别算法进行特征提取与匹 配， 获得目标特征点信息和识别信息； 根据目标 识别信息与预设目标增强现实数据库进行匹配， 得到对应的目标增强现实信息； 将所述目标特征 点信息、 目标识别信息、 标注信息和目标增强现 实信息发送到工具终端， 以供工具 终端界面显示 增强现实实现效果。 经试验证明， 本发明实施例 通过对用户终端上传的 图像信息进行处理、 对模 板图片进行标注和自定义虚拟内容， 得到特征点 信息、 识别信息、 标注信息和增强现实展示信息， 再将对应的信息发送到工具终端， 进而实现对于三维物体的增强现实应用的精确叠加， 达到更真 实的虚实融合效果。 权利要求书2页 说明书5页 附图3页 CN 114581636 A 2022.06.03 CN 114581636 A 1.自定义标注叠加位置的增强现实 实现工具， 其特 征在于所述方法包括以下步骤： S1、 获取用户添加的图像信息； S2、 用户根据需求选择 是否对虚拟内容的叠加位置进行 标注； S3、 将所述图像信息进行 预处理， 获得预处理图像信息； S4、 将所述预处理图像信息输入至识别算法进行特征提取与匹配， 获得目标的特征点 信息和识别 信息； S5、 根据目标识别信息与预设目标增强现实数据库进行匹配， 得到对应的目标增强现 实信息； S6、 将所述目标特征点信息、 目标识别信 息、 标注信息和目标增强现实信息发送到工具 终端， 以供工具终端界面显示增强现实 实现效果。 2.根据权利要求1所述的方法， 其特征在于， 所述将获取用户添加的图像信息， 具体包 括： S11、 将所述图像信息通过手动添加或者摄 像头镜头获取的方式从用户终端输入； S12、 为了便于程序的使用， 使用opencv的imread函数读取图像信息， 使用 VideoCapture和read函数从摄 像头视频流中读取图像信息 。 3.根据权利要求1所述的方法， 其特征在于， 所述用户根据需求选择是否对虚拟内容的 叠加位置进行 标注， 具体包括： S21、 用户不使用标注功能， 最后增强现实实现效果将按照工具预设的叠加位置和内容 显示； 用户使用标注功能， 可根据需要对目标的模板图片进 行标注， 标注完成后可选择是否 自定义显示虚拟内容； S22、 在进行标注之前， 建议用户先执行S3和S4， 这样做的目的是在标注之前事先确定 目标特征点的分布， 因为标注 区域内的特征点分布越多， 最后叠加的成功率和效果也就越 好； S23、 对目标的模板图片进行标注， 选择合适的近似矩形的区域， 从左上角开始按照逆 时针的方向选取四个点的位置， 选择完成后按z 键保存； S24、 标注信息保存完成后， 工具会弹出文件路径选择窗口， 如果需要使用自定义虚拟 内容进行展示， 则需要事 先准备好虚拟内容即透明通道视频的RGB+A lpha通道的PNG图像序 列， 图像以 “识别名称_00000 ”进行命名， “00000”表示图像序列数， 然后选择该序列所在的 文件夹路径； 如果 不需要使用自定义虚拟内容， 则直接关闭文件路径选择窗口即可。 4.根据权利要求1所述的方法， 其特征在于， 所述将图像信息进行预处理， 获取所述预 处理图像信息， 具体包括： 将所述图像信息转化为灰度图像， 并使用滤波算法消除图像噪声， 获得所述预处理图 像信息。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述预处理图像信 息输入至识别算 法进行特征提取与匹配， 获得 所述目标的特 征点信息和识别 信息， 具体包括： 将所述预处理图像信息输入至改进的ORB算法进行特征提取， 使用GMS算法对特征匹配 的结果进行筛选， 根据特征点匹配的数量确定与目标图像最接近的类别信息， 保存正确匹 配的特征点的坐标信息， 得到所述目标的特征点信息和识别信息， 使用RANSAC算法根据特 征匹配的结果计算单应性矩阵， 以便后续增强现实展示 步骤使用。权　利　要　求　书 1/2 页 2 CN 114581636 A 26.根据权利要求1所述的方法， 其特征在于， 所述将所述目标识别信 息与预设的增强现 实信息数据库进行匹配， 得到对应的增强现实信息， 具体包括： 根据得到的目标识别信 息找到相应的预设的增强现实的虚拟内容路径， 根据文件路径 搜索得到 透明通道视频的PNG序列。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述目标的特征点信息、 识别信 息、 标注信息和增强现实信息发送到工具终端， 以供工具终端界面显示增强现实实现效果， 具 体包括： 根据S4得到的 单应性矩阵 和 用户标注在模板图 片上的 坐标点信息使 用 cv2.perspectiv eTransform计算出用户输入图像上的叠加位置， 为了确保叠加位置的准确 性， 使用cv2.getPerspectiveTransform对用户标注坐标和输入图像的叠加位置进行计算 得到透视变换矩阵， 以透视变换矩阵为参数使用cv2.warpPerspective对透明通道视频的 PNG图像序列进行处理， 最后使用cv2.bitwise_or对输入图像和透明通道视频的PNG图像序 列利用按位或的图像运 算完成叠加操作。权　利　要　求　书 2/2 页 3 CN 114581636 A 3