(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211290845.X (22)申请日 2022.10.21 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 岳继光　栾锋　周艳敏　何斌　 陆萍　徐彩月　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 翁惠瑜 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) (54)发明名称 一种面向社交机器人的多模态融合情绪识 别方法和系统 (57)摘要 本发明涉及一种面向社交机器人的多模态 融合情绪识别方法和系统， 所述方法包括如下步 骤： 获得目标人员的实时感知信息， 所述实时感 知信息包括图像信息、 触觉信息和声音信息； 对 所述实时感知信息进行预处理， 获得预处理后的 感知信息； 根据所述预处理后的感知信息， 获得 情绪识别结果。 与现有技术相比， 本发明融合了 视觉、 语音、 触觉感知数据进行情绪识别， 且使用 麦克风及肌电传感器获取语音感知数据， 视觉感 知数据采用多个 关键点以捕捉人体参数， 提高了 识别准确度的同时适用于更多环境。 权利要求书2页 说明书4页 附图1页 CN 115533914 A 2022.12.30 CN 115533914 A 1.一种面向社交机器人的多模态融合情绪识别方法， 其特 征在于， 包括如下步骤： 获得目标人员的实时感知信息， 所述实时感知信息包括图像信息、 触觉信息和声音信 息； 对所述实时感知信息进行 预处理， 获得预处理后的感知信息； 将所述预处理后的感知信 息输入预训练好的多模态融合情绪识别模型， 获得情绪识别 结果。 2.根据权利要求1所述的一种面向社交机器人的多模态融合情绪识别方法， 其特征在 于， 所述的预处 理的过程包括如下步骤： 根据所述图像信息， 获得 人体关键点 坐标信息和人脸关键点 坐标信息； 根据所述触觉信息， 获得接触力 信息； 根据所述声 音信息， 获得语音信息； 根据所述人体关键点坐标信息、 人脸关键点坐标信息、 接触力信 息和语音信息， 获得所 述预处理后的感知信息 。 3.根据权利要求2所述的一种面向社交机器人的多模态融合情绪识别方法， 其特征在 于， 所述的人体关键点包括鼻子、 左眼、 右眼、 左耳、 右耳、 左肩、 右肩、 左胳膊肘， 右胳膊肘， 左手腕， 右手腕， 左臀， 右臀， 左膝， 右膝， 左脚踝， 右脚踝中的一个或多个， 所述人脸关键点 包括眉毛、 眼睛、 鼻子、 嘴巴， 关键部位额头部位、 脸颊部位、 眼袋部位、 上下颚部位、 嘴唇部 位中的一个或多个。 4.根据权利要求2所述的一种面向社交机器人的多模态融合情绪识别方法， 其特征在 于， 所述的人体关键点 坐标信息和人脸关键点 坐标信息的获取 过程包括如下步骤： 根据所述图像信息， 经过图像增 强、 数据编码和传输、 平滑、 边缘锐化、 分割、 特征抽取 以及图像识别与理解， 获得优化后的图像信息； 将所述优化后的图像信 息输入预训练好的关键点识别模型， 获得所述人体关键点坐标 信息和人脸关键点 坐标信息 。 5.根据权利要求1所述的一种面向社交机器人的多模态融合情绪识别方法， 其特征在 于， 所述的声 音信息从麦克风和肌电传感器获取。 6.一种面向社交机器人的多模态融合情绪识别系统， 其特 征在于， 包括： 视觉处理模块， 包括视觉传感器和图像处理单元， 所述图像处理单元用于从所述视觉 传感器获取实时图像信号， 并获取 人体关键点 坐标信息和人脸关键点 坐标信息； 触觉处理模块， 包括触觉传感器和触觉信号处理单元， 所述触觉信号处理单元用于从 所述触觉传感器获取实时触觉信号， 并获取接触力 信息； 听觉处理模块， 包括语音传感器和语音信号处理单元， 所述语音信号处理单元用于从 所述语音传感器获取实时 听觉信号， 并获取语音信息； 情绪识别模块， 分别与所述图像处理单元、 触觉信号处理单元和语音信号处理单元连 接， 用于获得所述人体关键点坐标信息、 人脸关键点坐标信息、 接触力信息和 语音信息， 并 输入预置在内的预训练好的多模态融合情绪识别模型， 输出情绪识别结果。 7.根据权利要求6所述的一种面向社交机器人的多模态融合情绪识别系统， 其特征在 于， 所述的语音传感器包括肌电传感器、 声 音传感器中的一个或多个。 8.根据权利要求6所述的一种面向社交机器人的多模态融合情绪识别系统， 其特征在权　利　要　求　书 1/2 页 2 CN 115533914 A 2于， 所述的视 觉传感器包括摄 像头。 9.根据权利要求6所述的一种面向社交机器人的多模态融合情绪识别系统， 其特征在 于， 所述的触觉传感器包括压力传感器。 10.根据权利要求6所述的一种面向社交机器人的多模态融合情绪识别系统， 其特征在 于， 还包括交互界面， 与所述情绪识别模块连接 。权　利　要　求　书 2/2 页 3 CN 115533914 A 3