(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111315178.1 (22)申请日 2021.11.08 (71)申请人 中国科学院深海科 学与工程研究所 地址 572000 海南省三 亚市吉阳区鹿回头 路28号 (72)发明人 熊宏　陈宇翔　程辉　张靖国　 陈铭　朱弘　于春亮　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 代理人 魏毅宏 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/774(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01)G06N 20/00(2019.01) G01N 15/06(2006.01) G01N 15/10(2006.01) (54)发明名称 流固混合物中粗颗粒速度和浓度测量方法 及系统 (57)摘要 本发明涉及一种流固混合物中粗颗粒速度 和浓度测量方法， 包括： 将流固混合物中颗粒按 照属性赋予不同的颜色进行区分； 进行颗粒水力 输送试验， 利用彩色高速摄像机正对 管道对颗粒 进行连续拍摄， 采集拍摄到的图像； 利用计算机 视觉和深度学习方法对采集到的图像进行训练， 然后进行目标检测， 对管道中不同颜色的颗粒进 行数量统计， 获得不同时刻颗粒的尺 寸和数量分 布， 推导出颗粒的浓度时历数据； 根据颗粒的浓 度时历数据， 利用多目标跟踪方法， 对颗粒进行 位置跟踪和速度测量。 本发明还 涉及一种流固混 合物中粗颗粒速度和浓度测量系统。 本发明能够 实现非侵入条件下同时准确测量粗颗粒的运动 和浓度， 为研究颗粒在管道内的运动特性提供更 多信息。 权利要求书2页 说明书7页 附图3页 CN 114078210 A 2022.02.22 CN 114078210 A 1.一种流固混合物中粗颗粒速度和浓度测量方法， 其特 征在于， 该 方法包括如下步骤： a.将流固混合物中颗粒按照属性赋予不同的颜色进行区分， 所述属性包括： 粒径、 形 状、 密度； b.进行颗粒水力输送试验， 利用彩色高速摄像机正对管道对颗粒进行连续拍摄， 采集 拍摄到的图像； c.利用计算机视觉和深度学习方法对采集到的图像进行训练， 然后进行目标检测， 对 管道中不同颜色的颗粒进 行数量统计获得不同时刻颗粒的尺寸和数量分布， 推导出颗粒的 浓度时历数据； d.根据颗粒的浓度时历数据， 利用多目标跟踪MOT方法， 对颗粒进行位置跟踪和速度测 量。 2.如权利要求1所述的方法， 其特 征在于， 所述的步骤a 中： 粒径区分方式， 按照实 际矿石的尺寸分布进行平均数分级， 使用不同颜色代表不同粒 径； 形状区分方式， 按照实际矿石的形状进行区分， 使用不同颜色代表不同形状； 密度区分 方式， 按照矿石的密度进行区分， 使用不同颜色代 表不同密度。 3.如权利要求2所述的方法， 其特征在于， 所述的步骤b中利用可视化管路装置进行颗 粒水力输送试验， 所述可视化管路装置包括： 彩色高速摄像机、 采用透明有机玻璃加工而成 的管道、 颗粒以及位于管道旁用于距离标定的标尺。 4.如权利要求3所述的方法， 其特 征在于， 所述的步骤c具体包括： 采用计算机视觉方法进行图像识别， 利用结合深度学习的目标检测框架Yolo， 对管道 内的颗粒进行检测， 包括： 选择采集得到的图像， 手动标记出每一张图像中的不同颜色颗粒； 将手动标记后的图像作为输入， 调节控制参数， 进行机器学习和训练； 根据机器学习的结果， 识别图像中不同颜色的颗粒， 得到颗粒的数量、 位置、 识别的置 信度； 分别采用人工标定、 机器识别的方法计算选定数据集中的颗粒平均值， 进行对比验证， 获得所有检测到的不同粒径颗粒的数量。 5.如权利要求 4所述的方法， 其特 征在于， 所述的步骤d具体包括： 步骤S41， 第一帧进来时， 对检测到的颗粒初始化并创建新的跟踪器， 标注id； 步骤S42， 后面帧进来时， 先到卡尔曼滤波器中得到由前面帧box产生的状态预测和协 方差预测， 求解跟踪器所有颗粒状态预测与本帧检测的box的数据关联部分IoU， 通过匈牙 利指派算法得到I oU最大的唯一匹配， 再去掉匹配值小于I oU_thresho ld的匹配对； 步骤S43， 用本帧中匹配到的颗粒检测box更新卡尔曼跟踪器， 计算卡尔曼增益、 状态更 新和协方差更新， 并将状态更新值输出， 作为本帧的跟踪box， 对于本帧中没有匹配到的颗 粒重新初始化跟踪器； 步骤S44， 重复步骤S42和步骤S43， 追踪所有检测到的颗粒在每一帧图像中的位置； 步骤S45， 通过 连续位置变化和已知的图像采集频率， 计算获得颗粒的速度； 步骤S46， 根据计算结果， 去除明显不合理的颗粒速度测量值， 替换为不合理速度的前 帧和后帧的速度插值； 获得 所有检测到的颗粒的瞬时速度。 6.一种流固混合物中粗颗粒速度和浓度测量系统， 其特征在于， 该系统包括： 区分模权　利　要　求　书 1/2 页 2 CN 114078210 A 2块、 可视化拍摄模块、 目标检测模块、 测量模块， 其中： 所述区分模块用于将流固混合物中颗粒按照属性赋予不同的颜色进行区分， 所述属性 包括： 粒径、 形状、 密度； 所述可视化拍摄模块用于进行颗粒水力 输送试验， 利用彩色高速摄像机正对管道对颗 粒进行连续拍摄， 采集拍摄到的图像； 所述目标检测模块用于利用计算机视觉和深度学习方法对采集到的图像进行训练， 然 后进行目标检测， 对管道中不同颜色的颗粒进行数量统计， 获得不同时刻颗粒 的尺寸和数 量分布， 推导出颗粒的浓度时历数据； 所述测量模块用于根据颗粒的浓度时历数据， 利用多目标跟踪MOT方法， 对颗粒进行位 置跟踪和速度测量。 7.如权利要求6所述的系统， 其特 征在于， 所述区分模块具体用于： 粒径区分方式， 按照实 际矿石的尺寸分布进行平均数分级， 使用不同颜色代表不同粒 径； 形状区分方式， 按照实际矿石的形状进行区分， 使用不同颜色代表不同形状； 密度区分 方式， 按照矿石的密度进行区分， 使用不同颜色代 表不同密度。 8.如权利要求7所述的系统， 其特征在于， 所述可视化拍摄模块具体用于利用可视化管 路装置进 行颗粒水力输送试验， 所述可视化管路装置包括： 彩色高速摄像机、 采用透明有机 玻璃加工而成的管道、 颗粒以及位于管道旁用于距离标定的标尺。 9.如权利要求8所述的系统， 其特 征在于， 所述的目标检测模块具体用于： 采用计算机视觉方法进行图像识别， 利用结合深度学习的目标检测框架Yolo， 对管道 内的颗粒进行检测， 包括： 选择采集得到的图像， 手动标记出每一张图像中的不同颜色颗粒； 将手动标记后的图像作为输入， 调节控制参数， 进行机器学习和训练； 根据机器学习的结果， 识别图像中不同颜色的颗粒， 得到颗粒的数量、 位置、 识别的置 信度； 分别采用人工标定、 机器识别的方法计算选定数据集中的颗粒平均值， 进行对比验证， 获得所有检测到的不同粒径颗粒的数量。 10.如权利要求9所述的系统， 其特征在于， 所述的测量模块具体通过执行以下步骤实 现： 步骤S41， 第一帧进来时， 对检测到的颗粒初始化并创建新的跟踪器， 标注id； 步骤S42， 后面帧进来时， 先到卡尔曼滤波器中得到由前面帧box产生的状态预测和协 方差预测， 求解跟踪器所有颗粒状态预测与本帧检测的box的数据关联部分IoU， 通过匈牙 利指派算法得到I oU最大的唯一匹配， 再去掉匹配值小于I oU_thresho ld的匹配对； 步骤S43， 用本帧中匹配到的颗粒检测box更新卡尔曼跟踪器， 计算卡尔曼增益、 状态更 新和协方差更新， 并将状态更新值输出， 作为本帧的跟踪box， 对于本帧中没有匹配到的颗 粒重新初始化跟踪器； 步骤S44， 重复步骤S42和步骤S43， 追踪所有检测到的颗粒在每一帧图像中的位置； 步骤S45， 通过 连续位置变化和已知的图像采集频率， 计算获得颗粒的速度； 步骤S46， 根据计算结果， 去除明显不合理的颗粒速度测量值， 替换为不合理速度的前 帧和后帧的速度插值； 获得 所有检测到的颗粒的瞬时速度。权　利　要　求　书 2/2 页 3 CN 114078210 A 3