(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211113978.X (22)申请日 2022.09.14 (71)申请人 南京视道信息技 术有限公司 地址 211199 江苏省南京市江宁区东 山街 道天印大道696号7楼F座 申请人 电子科技大 学长三角研究院 （湖州） (72)发明人 卢业康　方黎勇　孙俊男　王思维　 谌小彤　 (74)专利代理 机构 重庆天成卓越专利代理事务 所(普通合伙) 50240 专利代理师 王宏松 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/22(2022.01)G06V 10/24(2022.01) G06V 10/20(2022.01) G06V 10/28(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于Yolact网络的指针式仪表数据 自 动读取方法 (57)摘要 本发明提出了一种基于Yolact网络的指针 式仪表数据自动读取方法， 包括以下步骤： S1， 对 采集的仪表图像进行矫正； S2， 采用Yolact实例 分割网络对矫正后的仪表图进行实例分割， 将仪 表图像分割成表 盘与指针两个区域， 得到指针掩 码和表盘掩码； S3， 数值匹配： 将矫正后的 图像与 模板图像进行FGINN匹配， 得到若干匹配点对； S4， 直线拟合与 读数： 对矫正表 盘进行二值化， 从 表盘区域中获取刻度线轮廓， 然后对刻度线轮廓 进行直线拟合取直线的交点得到中心点一， 将中 心点一在指针直线方程上的投影点作为中心点； 根据指针与任一匹配点的差值， 使用角度法得到 读数。 本发 明能够利用深度学习结合图像处理对 指针式仪表进行读数检测， 有效地提高了读取数 值的准确性。 权利要求书1页 说明书7页 附图6页 CN 115424009 A 2022.12.02 CN 115424009 A 1.一种基于 Yolact网络的指针式仪表数据自动读取 方法， 其特 征在于， 包括以下步骤： S1， 对采集的仪表图像进行矫 正； S2， 采用Yolact实例分割网络对矫正后的仪表图进行实例分割， 将仪表图像分割成表 盘与指针两个区域， 得到指针掩码和表盘掩码； S3， 数值匹配： 将矫正后的图像与模板图像进行FGINN匹配， 得到若干匹配点对， 然后取 表盘中心为中心点， 水平向右的直线为极坐标轴， 从而计算矫正后的图像中每个匹配点的 角度与指针角度的差值， 取最大的负值与最小的正 值得到指针两侧差值 最小的匹配点； S4， 直线拟合与读数： 对矫正表盘进行二值化， 从表盘区域中获取刻度线轮廓， 然后对 刻度线轮廓进 行直线拟合取直线的交点得到中心 点一， 对指 针掩码进 行最小二乘直线拟合 得到指针直线方程， 将 中心点一在指针直线方程上的投影点作为中心点； 再根据步骤S3得 到的指针两侧差值最小的匹配点以及模板图像求得所述匹配点的对应数值， 然后根据两个 匹配点的角度差值 求分度值， 再根据指针与任一匹配点的差值， 使用角度法得到读数。 2.根据权利要求1所述的一种基于Yolact网络的指针式仪表数据自动读取方法， 其特 征在于， 所述S1包括以下步骤： S1‑1， 通过对 采集的原 始图像和模板图像采用SIFT算法进行 特征点检测， 得到关键点； S1‑2， 通过改进匹配算法FGINN对关键点进行匹配与筛选， 得到多对匹配点， 然后再通 过随机抽样一 致算法求原 始图像和模板图像的单应性矩阵； S1‑3， 利用所述单应性矩阵进行仿射变换， 得到 了矫正后的图像。 3.根据权利要求2所述的一种基于Yolact网络的指针式仪表数据自动读取方法， 其特 征在于， 所述改进匹配算法FGI NN包括： 原始图像的任一关键点为point1， 所述关键点point1在模板图像上最近关键点为 point21点， point1与point21的距离为dis1； 然后在模板图像上选取几何上不一致且距离 最近的关键点point22点， point1与point21的距离为dis2； 若dis1/dis2<σ， 则point1与 point21视为正确匹配的点对， 否则为 错配的点对予以剔除； 其中σ 表示阈值比率； 所述point21是与po int1第一近的关键点， 所述po int21是与po int1第二近的关键点； 所述几何上不 一致包括： 区域中心之间的欧几里德距离≥n个 像素。 4.根据权利要求3所述的一种基于Yolact网络的指针式仪表数据自动读取方法， 其特 征在于， 所述阈值比率σ 的取值范围为0.6～0.8。 5.根据权利要求1所述的一种基于Yolact网络的指针式仪表数据自动读取方法， 其特 征在于， 所述Yolact实例分割网络包括： 使用ResNet101作为Yolact模型的骨干网， 使用预 训练模型权 重对仪表图像进行调整。权　利　要　求　书 1/1 页 2 CN 115424009 A 2一种基于 Yolact网络的指针式仪表数据自动读取方 法 技术领域 [0001]本发明涉及 计算机图像处理技术领域， 特别是涉及一种基于Yolact网络的指针式 仪表数据自动读取 方法。 背景技术 [0002]目前， 主要的仪表巡检手段是通过人工巡检， 需要很高的成本去培养和雇佣 熟练 的巡检工人。 对于指针式仪表所监测数据的采集和录入仍然需要利用人的肉眼进 行观察并 手工进行记录， 首先这种数据的釆集和录入方式不仅仅耗费大量的人力、 物力， 同时也容易 因工作量大而导致工作效率低下， 易产生错误， 降低数据采集的准确率， 数据采集质量受主 观影响较大。 而且 大多数仪表工作在高温、 高压、 高辐射、 甚至有毒等恶劣的环 境条件中， 如 果采用人工对数据进行采集和录入的方式， 对数据采集员的生命安全是一种严重的威胁。 此外， 人工采集和录入数据耗费时间过长， 严重影响工业生产的效率， 而对于指 针式仪表进 行更换和升级又存在成本过高、 操作复杂、 资源过度浪费的问题。 [0003]除了上述的人工方式， 还有通过采集指针式仪表图像从而获得数据的传统指针式 仪表读数识别方法； 但由于拍摄角度和时间不尽相同， 收集到的仪表图像比较容易受到 自 然环境的影响， 例如光照、 角度以及大小等因素。 传统指 针式仪表读数识别方法容易受到环 境影响， 在不同的环境之下， 所处理得到的仪表图像存在比较大的差异， 存在识别率低， 读 数误差大的问题。 发明内容 [0004]本发明旨在至少解决现有技术中存在的技术问题， 特别创新地提出了一种基于 Yolact网络的指针式仪表数据自动读取 方法。 [0005]为了实现本 发明的上述目的， 本 发明提供了一种基于Yolact网络的指针式仪表数 据自动读取 方法， 包括以下步骤： [0006]S1， 对采集的仪表图像进行矫 正； [0007]S2， 采用Yolact实例分割网络对矫正后的仪表图进行实例分割， 将仪表图像分割 成表盘与指针两个区域， 得到指针掩码和表盘掩码； 进行表盘的分割 是为了剔除仪表外的 环境干扰因素， 使得后续进行读数检测更加准确。 [0008]通过使用基于深度学习的Yolact算法定位表盘， 能够快速准确地得到表盘位置并 分割出指 针掩码。 跟传统方法相比， 具有极强的抗干扰性， 能够适应于不同的环境下进行定 位识别， 并且可以随着硬件条件的提升不断提高算法效率。 [0009]S3， 数值匹配： 将 矫正后的图像与模板图像进行FGINN匹配， FGINN中几何不一致的 阈值设置为 1像素， 进一步提高匹配的精度， 得到若干匹配点对， 然后取表盘中心 为中心点， 水平向右的直线为极坐标轴， 从而计算矫正后的图像中每个匹配点的角度与指 针角度的差 值， 取最大的负值与最小的正 值得到指针两侧差值 最小的匹配点； [0010]所述模板图像中标记了中心点、 零点、 数值点和数值， 称为标记信息。 可以根据标说　明　书 1/7 页 3 CN 115424009 A 3