(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672523.5 (22)申请日 2022.06.14 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 田秋红　孙文轩　张元奎　潘豪　 章立早　阮琼露　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于DC-Res2Net和特征融合注意力模块的 手势图像分类方法 (57)摘要 本发明公开了基于特征融合注意力模块和 特征选择的手势图像分类方法。 方法为首先使用 已知数据集中的手势图像作为手势图像， 并获取 手势图像的类别标签， 对手势图像进行尺寸归一 化处理获得训练集； 然后构建卷积神经网络， 卷 积神经网络包括特征提取模块、 特征融合注意力 模块和分类器； 再将训练集输入 卷积神经网络进 行训练； 最后将待分类的手势图像输入到训练好 的卷积神经网络中进行手势图像分类， 得到分类 结果。 本发明使用DC ‑Res2Net模 块和SK‑Net模块 结合精确提取出手势 图像的高阶特征和低阶特 征， 利用特征融合注意力模块增强低阶特征并与 高阶特征进行融合， 通过融合特征 实现对手势图 像的精确识别。 权利要求书2页 说明书7页 附图5页 CN 115273135 A 2022.11.01 CN 115273135 A 1.一种基于特征融合注意力模块和特征选择的手势图像分类方法， 其特征在于： 方法 包括如下步骤： 步骤1)使用已知数据集中的手势图像作为手势图像， 并获取手势图像的类别标签， 对 手势图像进行尺寸归一 化处理， 将经过尺寸归一 化处理后的手势图像作为训练集； 步骤2)构建卷积神经网络， 卷积神经网络包括特征提取模块、 特征融合注意力模块和 Softmax分类 器； 步骤3)将步骤1)的训练集输入卷积神经网络进行训练； 步骤4)将待分类的手势图像输入到步骤3)训练好的卷积神经网络中进行手势图像分 类， 得到分类结果。 2.根据权利要求1所述的一种基于特征融合注意力模块和特征选择的手势图像分类方 法， 其特征在于： 所述步骤2)具体为： 所述卷积神经网络主要由特征提取模块、 特征融合注 意力模块和Softmax分类器依次连接构成， 手势图像先输入到特征提取模块分别获得高阶 特征张量和低阶特征张量， 再将高阶特征张量与低阶特征张量同时输入特征融合注意力模 块中处理后获得特征向量融合后的特征张量， 进而然后 将特征向量融合后的特征张量输入 到Softmax分类 器中进行分类， 得到手势图像的分类结果。 3.根据权利要求2所述的一种基于特征融合注意力模块和特征选择的手势图像分类方 法， 其特征在于： 所述的特征提取模块主要由DC ‑Res2Net29网络和三个SK ‑Net模块构成， 所 述的DC‑Res2Net29网络包括第一卷积层、 第一最大池化层和三个残差模块， 第一卷积层经 第一最大池化层连接到第一个残差模块的输入端； 三个残差模块和三个SK ‑Net模块依次交 替连接构成， 每个残差模块主要由三个DC ‑Res2Net模块依次连接构成； 将手势图像输入到 第一个残差模块中输出获得低阶特征张量， 经最后一个SK ‑Net模块输出获得高阶特征张 量。 4.根据权利要求2所述的一种基于特征融合注意力模块和特征选择的手势图像分类方 法， 其特征在于： 所述的DC ‑Res2Net模块是在Res2Net模块的基础上， 使得Res2Net模块中的 每一组卷积滤波器的输出均输入到下一组卷积滤波器， 且将Res2Net模块中的单个卷积层 替换为分组卷积。 5.根据权利要求3所述的一种基于特征融合注意力模块和特征选择的手势图像分类方 法， 其特征在于： 所述的SK ‑Net模块包括依次相连的特征分离模块、 多通道融合模块和特征 选择模块； 特征分离模块包括并联连接的一个第二卷积层和一个空洞卷积层， 残差模块输 出的特征向量分别输入第二卷积层和空洞卷积层中得到第一分离特征张量 和第二分离特 征张量 多通道融合模块包括依次连接的一个全局平均池化层和一个第一全连接层； 将特 征分离模块得到的两个分离特征张量相加后输入到全局平均池化层中， 第一全连接层输出 融合特征作为多通道融合模块的输出结果； 特征选择模块包括一个第二全连接层和一个第 一激活层； 将多通道融合模块得到的融合特征输入到第二全连接层得到紧凑特征z， 再将紧 凑特征z输入第一激活层； 通过激活函数得到第一权重矩阵ac和第一权重矩阵bc， 再将得到 的第一权重矩阵ac和第二权重矩阵bc分别与特征分离模块得到的第一分离特征张量 和第 二分离特征张量 相乘后相加得到特征向量选择后的特征张量V， 作为SK ‑Net模块的最终输 出。权　利　要　求　书 1/2 页 2 CN 115273135 A 26.根据权利要求2所述的一种基于特征融合注意力模块和特征选择的手势图像分类方 法， 其特征在于： 所述的特征融合注 意力模块包括边界信息增强模块、 特征加权增强模块和 特征融合模块； 边界信息增强模块包括两个卷积分支以及一层第三卷积层和一层第二最大 池化层； 每个卷积分支是由两个卷积层依次连接构成， 两个卷积分支并联设置， 两个卷积分 支的输出端经相加层后再输入到第三卷积层中， 第三卷积层的输出端连接输入到第二最大 池化层中； 特征提取模块输出 的低阶特征向量分别输入两路卷积分支， 将两路卷积分支输 出的特征张量通过相加层相加后并输入到第三卷积层中， 再将第三卷积层输出的特征张量 输入第二最大池化层中， 第二最大池化层输出的特征张量作为边界信息增强后的低阶特征 张量； 特征加权增强模块包括依 次连接的一层卷积层和一层平均池化层， 将特征提取模块 输出的高阶特征向量输入到平均池化层， 再将平均池化层输出的特征张量输入第四卷积层 中， 再将边界信息增强模块输出的边界信息增强后的低阶特征张量和 第四卷积层输出的特 征张量采用相乘的方式进 行组合得到经过特征加权的特征张量； 特征融合模块直接将高阶 特征向量和特征加权增强模块输出的特征加权的特征张量以相加的方式进行特征融合获 得特征向量融合后的特 征张量。权　利　要　求　书 2/2 页 3 CN 115273135 A 3