(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210641240.4 (22)申请日 2022.06.08 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘国良　曹逸超　田国会　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 20/60(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/56(2022.01)G06V 10/44(2022.01) G06T 7/73(2017.01) (54)发明名称 一种多通道视觉信息融合的FOD检测方法及 系统 (57)摘要 本公开涉及异物检测技术领域， 提出了一种 多通道视觉信息融合的FOD检测方法及系统， 方 法包括： 获取待检测图像， 所述待检测图像包括 灰度图像、 激光散射亮度图像和深度图像； 对激 光散射亮度图像进行异物边缘提取， 得到处理后 的激光散射亮度图像； 对深度图像进行边缘提取 处理， 得到深度图像的边缘图； 将灰度图像、 处理 后的激光散射亮度图像和深度图像的边缘图分 别作为三种颜色通道融合， 得到多通道融合的异 物图像； 针对多通道融合的异物图像进行异物检 测， 得到异物的种类和位置。 通过多通道融合， 融 合后的图像同时具有三个通道特征， 异物边缘更 加明显， 克服了人眼目视检测的困难， 提高了检 测效率和可靠性。 权利要求书2页 说明书6页 附图5页 CN 114973216 A 2022.08.30 CN 114973216 A 1.一种多通道视 觉信息融合的FOD检测方法， 其特 征在于， 包括如下步骤： 获取待检测图像， 所述待检测图像包括灰度图像、 激光散射亮度图像和深度图像； 对激光散射亮度图像进行异 物边缘提取， 得到处 理后的激光散射亮度图像； 对深度图像进行边 缘提取处理， 得到深度图像的边 缘图； 将灰度图像、 处理后的激光散射亮度图像和深度图像的边缘图分别作为三种 颜色通道 融合， 得到多通道融合的异 物图像； 针对多通道融合的异 物图像进行异 物检测， 得到异 物的种类和位置 。 2.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 采用车 载线扫描结构光相机进行图像采集， 得到待检测图像。 3.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 采用拉 普拉斯算子对激光散射亮度图像进行异物边缘提取， 将激光散射亮度图像与设定大小的拉 普拉斯算子进行 卷积操作， 得到处 理后的激光散射亮度图像。 4.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 采用 Sobel算子求取深度图像的边 缘。 5.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 采用 Sobel算子求取深度图像的边 缘的方法， 包括如下步骤： 提取x方向的边缘， 将原始图像与x方向Sobel边缘检测算子进行卷积操作， 提取x方向 的边缘； 提取y方向的边缘， 将原始图像与y方向Sobel边缘检测算子进行卷积操作， 提取y方向 的边缘； 对x方向和y方向的边 缘信息整合得到整幅图像的边 缘， 得到深度方向的边 缘图。 6.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 三种颜 色通道融合中， 三种颜色通道分别为G通道、 B通道和R通道； 或者， 三种颜色通道融合中， 将灰度图像作为G通道， 处理后的激光散射亮度图像作为B 通道， 深度图像的边 缘图作为R通道， 进行图像融合形成伪彩色图像。 7.如权利要求1所述的一种多通道视觉信息融合的FOD检测方法， 其特征在于： 异物检 测的方法， 具体为 通过Yolov5算法进行 跑道异物实时检测。 8.一种多通道视 觉信息融合的FOD检测系统， 其特 征在于， 包括： 获取模块： 被配置为用于获取待检测图像， 所述待检测图像包括灰度图像、 激光散射亮 度图像和深度图像； 激光散射亮度图像处理模块： 被配置为用于对激光散射亮度图像进行异物边缘提取， 得到处理后的激光散射亮度图像； 深度图像处理模块： 被配置为用于对深度图像进行边缘提取处理， 得到深度图像的边 缘图； 融合模块： 被配置为用于将灰度图像、 处理后的激光散射亮度图像和深度图像的边缘 图分别作为 三种颜色通道融合， 得到多通道融合的异 物图像； 检测模块： 被配置为用于针对多通道融合的异物图像进行异物检测， 得到异物的种类 和位置。 9.一种多通道视觉信息融合的FOD检测系统， 其特征在于， 包括： 图像采集装置以及处权　利　要　求　书 1/2 页 2 CN 114973216 A 2理器； 所述图像采集装置为车 载线扫描结构光相机， 用于采集待检测图像； 处理器被配置为执行权利要求1 ‑7任一项所述的一种多通道视觉信息融合的FOD检测 方法。 10.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。权　利　要　求　书 2/2 页 3 CN 114973216 A 3