(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210248084.5 (22)申请日 2022.03.14 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学 (72)发明人 黄金杰　张子亭　 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) F03D 17/00(2016.01) (54)发明名称 一种基于深度学习的地面拍摄风机叶片实 时监测方法 (57)摘要 一种基于深度学习的地面拍摄风机叶片实 时监测方法， 本发明公开了一种基于深度学习的 地面拍摄风机叶片实时监测方法： 包括以下步 骤： 构建云台拍摄模型， 用以实时跟踪风机叶片 在运行工作中的样本采集； 建立远程通信系统， 实现计算机、 电动云台以及深度网络模型的连 接； 用改进的YOLOv5和Siam  FC结合框架设计深 度网络模型， 修改损伤函数增强网络对损伤边缘 的敏感度， 减少YOL Ov5特征提取层感受野较大的 网络结构， 适应小目标检测。 实验表明， 此方法可 以在风机正常运转状态下完成对风机叶片损伤 部位的检测。 本发明可应用于高空设备难以维护 的设施及配件损伤检测， 尤其是对于实时性要求 高， 停机检测损失较大的工业设备， 减轻由于设 备故障、 维修带来的损失。 权利要求书1页 说明书7页 附图3页 CN 114627074 A 2022.06.14 CN 114627074 A 1.一种基于深度学习的地 面拍摄风机叶片实时监测方法， 其特 征在于， 包括以下步骤： 步骤1： 风电叶片跟踪电动云台建模， 为电动云台控制系统 组装配件； 步骤2： 根据电动云台各组成部分之间的关系， 完成端到端的各部分之间信息传输通道 的构建与连接； 步骤3： 图像处理， 选择合适的校正算法以及降噪算法， 系统化图片处理流程， 尤其是拍 摄图片产生的图像畸变问题； 步骤4： 损伤检测及分类模型的构建对叶片图像采用基于深度学习 网络的图像识别模 型， 致力于加速收敛速率， 提高损伤检测的准确性； 所述步骤1的风机转动状态下云台模型的搭建： 在风机转动状态下， 推导云台需要的参考跟踪信号， 同样先回顾风机 叶片表面的图像 获取过程， 与风机停 转状态下的过程基本相同， 不同之处在于， 云台在沿着叶片方向逐段拍 摄的同时， 还需要跟踪叶片的转动， 因此 过程更为复杂； 为推导风机转动状态下控制器的参考跟踪信号， 给出图2叶片位置示意图； 云台固定在 距离风机轮毂s米外的地面， 且正对风电叶片转动平面， 设风机轮毂高度为h， 叶片顺时针转 动且长度为r， 转动角速度为ω； 在某一时刻， 风机叶尖运行到a点， 叶片与水平方向夹角为θ， 当相机对a点拍摄时， 云台 的水平转角为θ1， 俯仰转角为θ2， 根据几何原理可 得： 式(1)和(2)分别为水平和俯仰方向的参 考跟踪信号； 不同于停转状态 的低速定点拍摄， 相比于内部参数的变化， 此状态下云台的不确定部 分主要来自于外界， 包括 强风强压等环境的干扰、 测量干扰等， 所以在确定风机转动状态下 云台的不确定模型时主 要考虑外界干扰部分； 此时将公式(3)进行改写， 得到风机转动状态下云台的不确定性模型如下： 其中： 为系统标称值； d为云台外界扰动； 将相关数据代入 系统(3)可 得电动云台在风机转动状态下的不确定数 学模型为： 所述步骤2中的电动云台组成部分包括： 电动云台、 激光测距仪、 长焦相机、 计算机及电 源； 所述步骤4中的深度网络模型， 通过对比各网络结构的性能及优缺点， 选择采用现阶段 目标跟踪的代表性的孪生网络Siam  FC,以及目标检测网络模型YOLOv5通过对两者网络结 构的应用删减与改进搭建新型网络模型。权　利　要　求　书 1/1 页 2 CN 114627074 A 2一种基于深度学习的地面拍摄风机叶片实时监测方 法 (一)技术领域 [0001]本发明属于能源设备检测技术领域， 特别设计一种基于深度学习网络模型的损伤 检测方法。 (二)背景技术 [0002]世界各国能源供给目前仍以化石能源为主， 为解传统能源导致的环境污染问题和 能源短缺问题， 大多数国家都在大力推动新能源的发展和低碳电力。 2021年煤炭价格的不 可控上涨， 进一步导致的连锁效应是煤电发电成本的急剧上升， 加剧了各国政府对能源结 构转型的迫切程度。 [0003]由于我国风力发电机装机量大， 日常检修难度大， 人员保养维护跟不上， 导致风力 发电机故障高于其他发达国家。 在众多故障中， 检测难度最大， 维护成本最高的是风力发电 机叶片。 风力发电机的叶片作为风力发电机组能量转化的重要部件， 保 障风力发电机正常 运行起到至 关重要的作用。 而且叶片价格昂贵， 它的制造成本占到风力发电机总成本的15 ‑ 20％。 但其在服役运行过程中， 不仅受到施加外力的载荷， 还会受到雷电、 风沙、 飓风、 异物 撞击等恶劣环境影响， 最终导致叶片掉漆、 刮伤、 边缘裂漆、 疲劳断裂。 损伤产生初期， 危险 系数小， 对叶片进行及时、 有效的损伤检测可以帮助检修人员对叶片健康状态进行合理分 析， 能够有效的减少风机的停机时间、 降低风电场的经济损失、 保障检修人员的安全。 目前 已有一些检测方法如手持 式望远镜、 人工吊篮巡检、 红外热成像检测、 无人机拍摄检测等已 在使用。 但由于风电场的环境恶劣、 风速风向不稳定等原因， 这些方法都存在着或是效率不 高、 安全隐患大、 或是受外界环境影响大、 检测不 准等缺点。 [0004]因此， 为了保证风力发电机的健康运行， 开发一种易检测、 维护成本低且检测效率 高的“叶片表面损伤检测系统 ”是目前风场安全运营的迫切需求， 且 具有重要理论研究及市 场应用价 值。 (三)发明内容 [0005]本发明旨在 提供一种基于深度学习的地面拍摄风机叶片实时监测方法， 可以辅助 风机叶片设备检测人员及时、 安全、 高效的了解风机叶片的健康状态， 减少因风机叶片损伤 维修产生的时间， 提高风机发电场的发电效率。 为实现以上目的， 本发明采用如下技术方 案： [0006]步骤1： 风电叶片跟踪电动云台建模， 采用相机在地面对叶片进行拍摄可以实现稳 定性， 不需要考虑续航问题， 可以实现不间断监测。 通过对云台的控制实现相机角度的变换 的自动拍摄。 拍摄方式以风机的运行状态分为停机拍摄和 运行拍摄两类， 运行拍摄是为了 实现风机叶片实时性方案的必要步骤。 (风机高85米， 叶片长40米， 相机距离机柱约100米， 拍摄多张图像以保证清晰度)； [0007]步骤2： 根据电动云台各组成部分之间的关系， 完成端到端的各部分之间信息传输 通道的构建与连接， 电动云台组成部 分包括： 电动云台、 激光测距仪、 长焦相机、 计算机及电说　明　书 1/7 页 3 CN 114627074 A 3