(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211113448.5 (22)申请日 2022.09.14 (71)申请人 青岛海信 智慧生活科技股份有限公 司 地址 266010 山东省青岛市崂山区松岭路 399号 (72)发明人 张新尧　郭振龙　吴艳春　赵希枫　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 屈苗苗 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G08B 21/02(2006.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 移动机器人及语音预警方法 (57)摘要 本申请公开了一种移动机器人及语音预警 方法， 属于图像处理领域。 所述方法包括： 获取目 标人员的视频流， 通过经训练的目标人体检测模 型对该视频流进行处理得到人体检测结果； 如果 基于该人体检测结果确定目标人员属于特定人 员， 则跟随该目标人员， 并通过经训练的行为检 测模型对该目标人员的视频流进行处理， 得到目 标人员的行为； 如果目标人员的行为属于异常行 为， 则进行语音预警。 本申请通过目标人体检测 模型确定目标人员的年龄， 通过经训练的行为检 测模型确定目标人员当前的行为， 并根据当前的 行为对目标人员进行语音预警， 降低了居家环境 下目标人员进行异常行为的危险系数， 增强了目 标人员在进行异常行为时的安全防范意识。 权利要求书2页 说明书12页 附图4页 CN 115439890 A 2022.12.06 CN 115439890 A 1.一种移动机器人， 其特征在于， 所述移动机器人包括控制器、 摄像头、 移动底座和语 音播放器， 所述控制器用于： 获取所述摄像头拍摄的目标人员的视频流， 所述目标人员为所述摄像头的拍摄范围内 的任一人员； 通过经训练的目标人体检测模型对所述视频流进行处理， 以得到人体检测结果， 所述 人体检测结果指示所述目标人员的年龄， 所述目标人体检测模型包括经训练的特征提取网 络， 所述特征提取网络包括下采样模块和卷积注意力机制CBAMC3模块， 所述CBAMC3模块包 括两个卷积层、 多个移动网络mobl ienet层、 特 征融合层和卷积注意力层； 如果基于所述人体检测结果确定所述目标人员属于特定人员， 则控制所述移动底座进 行移动， 以跟随所述目标人员， 并通过经训练的行为检测模型对所述视频流进 行处理， 以得 到所述目标 人员的行为， 所述特定人员包括 年龄低于第一 年龄阈值的人员； 如果所述目标 人员的行为属于异常行为， 则控制所述语音播 放器进行语音预警。 2.如权利要求1所述的移动机器人， 其特征在于， 所述目标人体检测模型还包括与 所述 特征提取网络依次连接的特 征融合网络和预测网络； 所述控制器具体用于： 获取第一样本 图像集， 所述第一样本 图像集包括多个第一样本 图像， 所述多个第一样 本图像中的每个第一样 本图像对应一个样本标签， 所述样本标签指示对应的第一样本图像 中人员的年龄； 基于所述第一样本 图像集， 对所述特征提取网络的网络参数进行训练， 以得到经训练 的网络参数； 获取第二样本 图像集， 所述第二样本 图像集包括多个第二样本 图像， 所述多个第二样 本图像中的每个第二样 本图像对应一个样本标注信息， 所述样本标注信息指示对应的第二 样本图像中人员的成像位置； 将所述特征提取网络的网络参数固定为所述经训练 的网络参数， 基于所述第 二样本图 像集， 对所述特征融合网络和所述预测网络的网络参数进行训练， 以得到经训练的目标人 体检测模型。 3.如权利要求2所述的移动机器人， 其特 征在于， 所述控制器具体用于： 生成图像分类模型， 所述图像分类模型包括所述特 征提取网络、 池化层和全连接层； 基于所述第一样本 图像集， 对所述图像分类模型进行训练， 以得到所述经训练的网络 参数。 4.如权利要求2所述的移动机器人， 其特 征在于， 所述控制器具体用于： 对所述多个第二样本图像进行色调饱和度亮度HSV数据增强和马赛克数据增强， 以得 到多个第三样本图像， 所述HSV数据增强用于提升所述多个第二样本图像的颜色多样性， 所 述马赛克 数据增强用于提升所述多个第二样本图像的拍摄角度和拍摄场景的多样性； 基于所述多个第二样本图像和所述多个第 三样本图像， 对所述特征融合网络和所述预 测网络的网络参数进行训练， 以得到经训练的目标人体检测模型， 以使所述 目标人体检测 模型能够对着装 颜色多样性、 处于不同位置和场景的人体进行检测。 5.如权利要求2 ‑4任一所述的移动机器人， 其特征在于， 所述多个第 一样本图像的总数 量大于所述多个第二样本图像的总数量， 以提升所述特 征提取网络的网络参数的可靠性。权　利　要　求　书 1/2 页 2 CN 115439890 A 26.一种语音预警方法， 其特 征在于， 应用于移动机器人， 所述方法包括： 获取目标 人员的视频流， 所述目标 人员为拍摄范围内的任一人员； 通过经训练的目标人体检测模型对所述视频流进行处理， 以得到人体检测结果， 所述 人体检测结果指示所述目标人员的年龄， 所述目标人体检测模型包括经训练的特征提取网 络， 所述特征提取网络包括下采样模块和卷积注意力机制CBAMC3模块， 所述CBAMC3模块包 括两个卷积层、 多个移动网络mobl ienet层、 特 征融合层和卷积注意力层； 如果基于所述人体检测结果确定所述目标人员属于特定人员， 则跟随所述目标人员， 并通过经训练的行为检测模型对所述视频流进行处理， 以得到所述 目标人员的行为， 所述 特定人员包括 年龄低于第一 年龄阈值的人员； 如果所述目标 人员的行为属于异常行为， 则进行语音预警。 7.如权利要求6所述的方法， 其特征在于， 所述目标人体检测模型还包括与 所述特征提 取网络依次连接的特征融合网络和预测网络； 所述通过经训练的目标人体检测模型对所述 视频流进行处 理之前， 还 包括： 获取第一样本 图像集， 所述第一样本 图像集包括多个第一样本 图像， 所述多个第一样 本图像中的每个第一样 本图像对应一个样本标签， 所述样本标签指示对应的第一样本图像 中人员的年龄； 基于所述第一样本 图像集， 对所述特征提取网络的网络参数进行训练， 以得到经训练 的网络参数； 获取第二样本 图像集， 所述第二样本 图像集包括多个第二样本 图像， 所述多个第二样 本图像中的每个第二样 本图像对应一个样本标注信息， 所述样本标注信息指示对应的第二 样本图像中人员的成像位置； 将所述特征提取网络的网络参数固定为所述经训练 的网络参数， 基于所述第 二样本图 像集， 对所述特征融合网络和所述预测网络的网络参数进行训练， 以得到经训练的目标人 体检测模型。 8.如权利要求7所述的方法， 其特征在于， 所述基于所述第一样本 图像集， 对所述特征 提取网络的网络参数进行训练， 以得到经训练的网络参数， 包括： 生成图像分类模型， 所述图像分类模型包括所述特 征提取网络、 池化层和全连接层； 基于所述第一样本 图像集， 对所述图像分类模型进行训练， 以得到所述经训练的网络 参数。 9.如权利要求7所述的方法， 其特征在于， 所述基于所述第二样本 图像集， 对所述特征 融合网络和所述预测网络的网络参数进行训练， 以得到经训练的目标 人体检测模型， 包括： 对所述多个第二样本图像进行色调饱和度亮度HSV数据增强和马赛克数据增强， 以得 到多个第三样本图像， 所述HSV数据增强用于提升所述多个第二样本图像的颜色多样性， 所 述马赛克 数据增强用于提升所述多个第二样本图像的拍摄角度和拍摄场景的多样性； 基于所述多个第二样本图像和所述多个第 三样本图像， 对所述特征融合网络和所述预 测网络的网络参数进行训练， 以得到经训练的目标人体检测模型， 以使所述 目标人体检测 模型能够对着装 颜色多样性、 处于不同位置和场景的人体进行检测。 10.如权利要求7 ‑9任一所述的方法， 其特征在于， 所述多个第一样本 图像的总数量大 于所述多个第二样本图像的总数量， 以提升所述特 征提取网络的网络参数的可靠性。权　利　要　求　书 2/2 页 3 CN 115439890 A 3