(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211092432.0 (22)申请日 2022.09.08 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 胡滨　李祎　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 汪洁丽 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/16(2022.01) G06V 20/40(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G10L 25/24(2013.01) G10L 25/30(2013.01) G10L 25/63(2013.01) B25J 11/00(2006.01) (54)发明名称 类脑多模态情感识别网络、 识别方法及情感 机器人 (57)摘要 本发明公开了一种类脑多模态情感识别网 络、 识别方法及情感机器人， 其中， 类脑多模态情 感识别方法包括提取视频表情特征和语音情感 特征， 计算与音频强关联的视频特征和与视频 强 关联的音频特征， 拼接视频表情特征和语音情感 特征， 得到原始拼接特征， 计算模态m的多头自注 意力特征和模态m的多头跨模态强关联特征， 对 所有头部的同类特征进行拼接， 得到第一至第四 拼接特征， 将第一至第四拼接特征分别输入双向 长短期记忆网络后， 拼接所有特征得到统一特征 向量， 基于统一特征向量进行情感分类识别。 本 发明通过改进多模态特征融合过程， 通过相同头 部内部特征融合、 不同头部外部特征融合后再进 行特征拼接， 最终提高了情感识别结果的鲁棒性 和精准率。 权利要求书3页 说明书13页 附图8页 CN 115169507 A 2022.10.11 CN 115169507 A 1.一种类脑多模态情感识别方法， 其特 征在于， 包括： 提取视频表情特 征 和语音情感特 征 ； 融合视频表情特征 和语音情感特征 ， 得到与音频强关联的视频特征 和与视频 强关联的音频 特征 ； 拼接视频表情特 征 和语音情感特 征 ， 得到原始拼接特 征 ； 计算模态m的多头自注意力特征 ， 其中， m取a或v， 为头部序 号， ， 、 、 分别为特征 在n种不同转换矩阵下的Query、  Key、 Value矩 阵， 为Query矩阵的维度； 计算模态m的多头跨模态强关联特征 ， 其中， 取 或 ， 为特征 在n种不同转换矩阵下的Query矩阵， 和 分别为特征 在n种不同转换 矩阵下的K ey、 Value矩阵； 对所有头 部的同类特 征进行拼接， 得到第一至第四拼接特 征 ， 其中， ， ； 将第一至第四拼接特征分别 输入双向长短期记忆网络后， 拼接所有特征得到统一特征 向量， 基于统一特 征向量进行情感分类识别。 2.如权利要求1所述的类脑多模态情感识别方法， 其特 征在于， 计算与音频强关联的视频 特征 的过程包括： 将特征 依次经Relu激活函数和Sigmo id激活函数处 理， 得到模态 的强关联权 重 ； 将特征 与强关联权 重 相乘， 得到中间特 征 ； 计算与音频强关联的视频 特征 ； 计算与视频强关联的音频 特征 的过程包括： 将特征 依次经输入Relu 激活函数和Sigmoid激活函 数处理， 得到模态 的强关联权重 ； 将特征 与强关联权 重 相乘， 得到中间特 征 ； 计算与视频强关联的音频 特征 ； 其中， 和 分别为特征 和特征 的Query矩阵， 和 分别为特征 的Key、 Value矩阵， 和 分别为特 征 的Key、 Value矩阵。 3.如权利要求1所述的类脑多模态情感识别方法， 其特征在于， 所述双向长短期记忆网 络为改进的残差双向长短期记忆网络， 包括： 上层双向长短期记忆网络和下层双向长短期权　利　要　求　书 1/3 页 2 CN 115169507 A 2记忆网络， 输入特征依次经过下层双向长 短期记忆网络和上层长短期记忆网络后与输入特 征求和， 得到改进的残差双向长短期记 忆网络的输出 结果。 4.如权利要求1所述的类脑多模态情感识别方法， 其特征在于， 视频表情特征的提取过 程包括： 先采用多任务级联 卷积神经网络对人脸图像进行 特征点定位； 再采用嵌入残差通道空间注意力模块的神经网络提取视频表情特 征； 其中， 嵌入残差通道空间注意力模块嵌于神经网络每个池化层之前， 嵌入残差通道空 间注意力模块包括 通道注意力模块和空间注意力模块以及求和模块， 其中， 通道注意力模块用于对输入 特征 依次进行全局平均池化、 全连接和sigmoid激活函数 处理后再与输入特 征相乘， 输出通道 注意力特 征 ； 空间注意力模块用于提取输入特征 的单一通道特征后， 依次对所提取的每个单一通 道特征进行全局平均池化、 最大池化、 卷积、 sigmoid激活函数处理并拼接所有经处理后的 单一通道特征， 输出空间注意力特 征 ； 求和模块用于对输出通道注意力特征和空间注意力特征进行计算， 得到嵌入残差通道 空间注意力模块的输出结果 ， 其中， 、 和 均为设 定的求和权 重。 5.如权利要求4所述的类脑多模态情感识别方法， 其特征在于， 多任务级联卷积神经网 络包括依次连接的提 议网络、 细化网络和输出网络， 其中， 提议网络为全卷积网络， 用于确定候选区域； 细化网络相比于所述提议网络在最后增加全连接层， 用于使用边界框回归进行特征标 定； 输出网络相比于所述细化网络在中间增加一个卷积层， 用于对人脸细节特征进行处 理， 标记出脸部关键特 征点。 6.如权利要求3所述的类脑多模态情感识别方法， 其特征在于， 语音情感特征的提取过 程包括： 将音频信号 转换为梅尔频率倒谱系数向量； 将梅尔频率倒谱系数向量输入所述改进的残差双向长短期记 忆网络， 更新系数向量； 将更新后的系数向量输入音频 卷积网络， 提取语音情感特 征。 7.如权利要求6所述的类脑多模态情感识别方法， 其特征在于， 将音频信号转换为梅尔 频率倒谱系数向量， 包括： 对音频信号依次进行 预加重、 分帧和 加窗处理； 对每一帧加窗后的特 征通过快速傅里叶变换 得到频谱； 将频谱输入Mel滤波器组， 得到 Mel频谱； 对Mel频谱进行倒谱分析， 得到梅尔频率倒谱系数向量。 8.一种类脑多模态情感识别网络， 其特 征在于， 包括： 视频表情特征提取网络和语音情感特征提取网络， 分别用于提取视频表情 特征 和语 音情感特 征 ； 两阶段注意力 融合网络， 用于对视频表情特征和语音情感特征进行融合处理， 输出第权　利　要　求　书 2/3 页 3 CN 115169507 A 3