(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738576.2 (22)申请日 2022.06.24 (71)申请人 上海锡鼎智能科技有限公司 地址 201599 上海市金山区朱 泾镇临源街 750号5幢293F (72)发明人 刘凯　 (74)专利代理 机构 上海和华启核知识产权代理 有限公司 313 39 专利代理师 王仙子 (51)Int.Cl. G06V 10/24(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于理化生智能考评中过滤粗盐水实 验的三层滤纸定位方法 (57)摘要 本发明揭示了一种用于理化生智能考评中 过滤粗盐水实验的三层滤纸定位方法， 包括如下 步骤： 输入相关实验视频； 根据上述输入的实验 视频提取出包含漏斗的照片； 对 上述提取的照片 做基于热图的关键点检测及模型分类； 根据检测 的所述关键点确定直线方程并结合模型分类结 果确定三层滤纸区域。 本发明能够实现对三层滤 纸区域的准确判断， 具有利于标注、 检测精度高、 网络轻量化节省硬件成本等优点， 可以更好的针 对相关化学实验 进行更加精确的考、 教、 评 。 权利要求书2页 说明书4页 附图1页 CN 115239940 A 2022.10.25 CN 115239940 A 1.一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 包 括如下步骤： 输入相关实验视频； 根据上述输入的实验视频提取 出包含漏斗的照片； 对上述提取的照片做基于热图的关键点检测及模型分类； 根据检测的所述关键点确定直线方程并结合模型分类结果确定三层滤纸区域。 2.如权利要求1所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述实验视频提取采用目标检测网络 。 3.如权利要求1所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述关键点包括滤纸 折痕的两个顶点。 4.如权利要求3所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述关键点检测的方法为： 由一个轻量级骨干网络作为特征提取器， 后面接两个SEB模块进行图片的上采样， 再用 一个卷积神经网络得到相应特 征张量； 上述得到的特征张量与第二个SEB模块生成的张量做concat处理实现特征融合， 融合 后的特征通过卷积层后输出 特征张量result1， 完成关键点检测。 5.如权利要求4所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述模型分类的方法为： 在进行关键点检测的同时， 轻量级骨干网络引出一路分支， 通过softmax运算输出 result2实现区域 二分类。 6.如权利要求5所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述关键点检测及模型分类采用深度学习模型， 所述深度学习模型 的训练方 法为： 对两个关键点对应的特征张量result1均进行sigmoid处理， 得到关键点热图heatmap1 和heatmap2； 根据坐标信息， 利用二维高斯核函数对上述得到的关键点热图进行处理， 获取新的热 图heatmap1’和heatmap2’作为标签； 定义heatmap1’和heatmap2’中值取大于零的区域为正样本， 分别得到其在特征向量矩 阵中的索引o ne‑pos‑mask和tw o‑pos‑mask； 定义heatmap1’和heatmap2’中值取等于零的区域为负样本， 分别得到其在特征向量矩 阵中的索引o ne‑neg‑mask和tw o‑neg‑mask； 根据索引取出heatmap1和heatmap1 ’中的正负样本分别做损失， 得到one ‑pos‑loss和 one‑neg‑loss， 同理heatmap2和heatmap2 ’得到two‑pos‑loss和two‑neg‑loss； 对result2采用交叉熵损失， 得到 class‑loss； 根据上述获取的损失计算 最终损失函数。 7.如权利要求6所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述损失计算采用MSEL oss损失函数。 8.如权利要求6所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法， 其特征在于， 所述 最终损失函数为：权　利　要　求　书 1/2 页 2 CN 115239940 A 2Loss＝1*one ‑pos‑loss+2*two ‑pos‑loss+0.1*one ‑neg‑loss+0.2*two ‑neg‑loss+3* class‑loss。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 可执行指 令， 所述计算机可执行指 令被处理器执行时实现如权利要求1至8中任意一项所述 的方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115239940 A 3