(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211402162.9 (22)申请日 2022.11.10 (71)申请人 深圳市神州云海智能科技有限公司 地址 518000 广东省深圳市龙岗区横岗街 道四联社区228工业区四联工业村8号 101、 102、 201、 3 01 (72)发明人 彭盼　彭能　陈放　丁磊　柏晓乐　 王玮琪　 (74)专利代理 机构 北京专赢专利代理有限公司 11797 专利代理师 于刚 (51)Int.Cl. B25J 11/00(2006.01) B25J 9/16(2006.01) B25J 19/02(2006.01) (54)发明名称 基于多元融合信息进行情感反馈及信息交 互的导诊机 器人 (57)摘要 本发明适用于机器人技术领域， 提供了基于 多元融合信息进行情感反馈及信息交互的导诊 机器人， 包括： 硬件部分； 对象情绪感知模块， 对 象情绪感知模块具体包括语音与声纹感知单元、 视频图像感知单元和 信息融合分析单元， 声纹感 知单元用于获取情感特征和语义特征； 视频图像 感知单元用于获取人脸表情特征和人体动作特 征； 信息融合分析单元用于结合语义特征、 情感 特征、 人脸表情特征和人体动作特征分析得到用 户的情绪感知信息； 互动对话管理模块， 用于根 据情绪感知信息并利用头部LED灯、 头部显示屏 和头部转动关节进行互动表达。 提供了一种可融 合用户神态、 动作和语音多模态信息进行情感反 馈及信息交互的智能导诊机器人， 提升患者就诊 体验满意度。 权利要求书3页 说明书9页 附图1页 CN 115431288 A 2022.12.06 CN 115431288 A 1.基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 所述导诊 机器人包括： 硬件部分， 硬件部分具体包括人体全方位探测器、 头部LED灯、 头部显示屏、 头部转动关 节、 读卡器和控制运 算单元； 对象情绪感知模块， 对象情绪感知模块具体包括语音与声纹感知单元、 视频图像感知 单元和信息融合分析单元， 所述声纹感知单元用于基于声纹分析技术提取用户声纹里的情 感特征， 并利用语音识别技术， 识别对象的语音内容， 得到语义特征； 所述视频图像感知单 元用于获取人脸表情特征和人体动作特征； 所述信息融合分析单元用于结合语义特征、 情 感特征、 人脸表情特 征和人体动作特 征分析得到用户的情绪感知信息； 互动对话管理模块， 用于根据情绪感知信息并利用头部LED灯、 头部显示屏以及头部转 动关节进行互动表达， 并进行语音输出。 2.根据权利要求1所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 所述结合语义特征、 情感特征、 人脸表情特征和人体动作特征分析得到用户的 情绪感知信息的步骤， 具体包括： 对象情绪建模： 设置若干个代表性反向情绪对， 为每一个反向情绪对， 建立区间为[ ‑1, +1]的量化表达， 其中， ‑1表示该情绪对的反面极端情绪， +1表 示该情绪对的正面极端情绪； 将对象情绪表示为： 多个代表性反向情绪对所对应标量x1,x2,...， xn组成的向量 ， ， 其中， 表示反向情绪对的个数； 对象情绪的信 息融合： 将语义特征、 情 感特征、 人脸表情特征和人体动作 特征采用贝叶 斯网络或者深度学习的方式进行辨识， 统一表达成向量 的形式， 其中， 将语义特征和情 感特征表述为 ， 将人脸表情特征表述为 ， 将人体动作特征表述为 ， 对 、 和 进行信息融合， 得到情绪感知信息 。 3.根据权利要求2所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 所述对 、 和 进行信息融合， 得到情绪感知信息的步骤， 具体包括： 获取第n时间段的感知数据为 ， 计算相关性： 权　利　要　求　书 1/3 页 2 CN 115431288 A 2其中， ； 计算权重： ， ， ； 以 符号表示融合计算， 其融合计算方式如下： 其中： 其中， 为固定阈值， 融合结果为： ， 为限制运算， 表 示对 向量的每一个元素， 当其大于或者等于1时， 限制为1， 小于或者等于 ‑1时， 限制为 ‑ 1。 4.根据权利要求1所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 所述互动对话管理模块包含DQN对话系统， 互动对话管理模块执行步骤的流程 为： 感知到对象的当前状态S， 将当前状态S输入到DQN对话系统中， 计算得到执行A， 根据执 行A进行互动表达和语音输出； 得到新的对象感知， 包括反馈r和新状态S_； 以新状态S_作为 输入到DQ N系统中， 计算下一 步的执行动作， 依此循环。 5.根据权利要求4所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 执行A建模成： ， 其中， 表示正常对话系统所要进行的 语音输出， 表示机器人需要做出的情绪表达， 通过语音合成进行输出， 通过 机器人的头 部LED灯、 头 部显示屏、 头 部转动关节进行输出。 6.根据权利要求5所述的基于多元融合信息进行情感反馈及信息交互的导诊机器人， 其特征在于， 机器人的 情绪表达， 由头部显示屏中表情的连续渐变表达和头部LED灯权　利　要　求　书 2/3 页 3 CN 115431288 A 3