(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210222301.3 (22)申请日 2022.03.09 (71)申请人 深圳市经纬纵横科技有限公司 地址 518000 广东省深圳市龙华区龙华 街 道清华社区梅龙大道2113号卫东龙商 务大厦B座16 03 (72)发明人 张文平　白维朝　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 李赜 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16Y 10/60(2020.01) G16Y 20/40(2020.01) G16Y 40/10(2020.01) (54)发明名称 智能监控看护方法、 系统和电子设备 (57)摘要 本申请公开了一种智能监控看护方法、 系统 和电子设备， 其通过不区分内因数据和外因数 据， 而是将其作为整体来通过卷积神经网络提取 特征， 可以实现多传感器信息的有效融合， 并且 在信息融合的同时， 通过进一步挖掘所述数据在 不同感知野 下的关联特征， 可以从而提取数据自 身的结构特征和数据之间的关联特征。 同时， 基 于所获得的所述特征图包含不同尺度下的高维 特征分布， 因此在通过解码回归时以具有多尺度 感知的解码器来进行对应， 也就是， 解码器使用 连续范围的感知场来匹配连续的尺度变化， 从而 对于每个位置学习特定的感知场， 以通过匹配卷 积神经网络的并行子结构来提高解码准确性。 这 样， 能够准确有效地对老年人看护的安全异常数 据进行智能预警。 权利要求书3页 说明书13页 附图7页 CN 114663833 A 2022.06.24 CN 114663833 A 1.一种智能监控看护方法， 其特 征在于， 包括： 训练阶段， 包括： 将与老人相关的各项内因指标数据和各项外因指标数据 以预定时间点进行采样， 其 中， 所述内因指标 因数包括行为数据和生理指标数据， 所述外因数据包括火灾信息、 室内温 度、 室内湿度和照明度； 将采样获得的所述各项内因指标数据和所述各项外因指标数据按照时间维度和样本 维度排列为输入矩阵； 将所述输入矩阵输入包含并行子结构和特征融合模块的卷积神经网络以获得解码特 征图， 其中， 所述卷积神经网络的各个并行子结构用于以不同尺寸的卷积核对输入数据进 行处理以生成多个子特征图， 所述特征融合模块用于融合所述多个子特征图以生成所述解 码特征图； 将所述解码特征图通过作为 解码器的全连接神经网络以获得解码损失函数值； 以及 基于所述解码损 失函数值对所述卷积神经网络和所述解码器进行训练， 包括： 在每一 轮迭代中， 以所述解码损失函数值相对于所述卷积神经网络的卷积参数的偏导作为梯度信 息来更新所述卷积神经网络的卷积参数； 使用更新后的所述卷积神经网络的卷积参数对所 述解码器的多个全连接层的参数矩阵进 行卷积缩放， 所述卷积缩放基于尺寸为3 ×3且步长 为1的标准网格、 所述卷积神经网络的卷积参数以及与所述卷积神经网络的并行子结构的 层数差对应的缩放因子进行； 以及， 基于所述解码损失函数值相对于经卷积缩放后的所述 全连接层的参数矩阵的偏导作为梯度信息来更新所述 解码器的全连接层的参数矩阵； 以及 推断阶段， 包括： 将与老人相关的各项内因指标数据和各项外因指标数据 以预定时间点进行采样， 其 中， 所述内因指标 因数包括行为数据和生理指标数据， 所述外因数据包括火灾信息、 室内温 度、 室内湿度和照明度； 将采样获得的所述各项内因指标数据和所述各项外因指标数据按照时间维度和样本 维度排列为输入矩阵； 将所述输入矩阵输入经训练阶段训练完成的所述包含并行子结构和特征融合模块的 卷积神经网络以获得解码特征图， 其中， 所述卷积神经网络的各个并行子结构用于以不同 尺寸的卷积核对输入数据进行 处理以生成多个子特征图， 所述特征融合模块用于融合所述 多个子特 征图以生成所述 解码特征图； 以及 将所述解码特征图通过经训练阶段训练完成的所述作为解码器的全连接神经网络以 获得解码值， 所述 解码值为所述老人的预测安全等级。 2.根据权利要求1所述的智能监控看护方法， 其中， 将采样 获得的所述各项内因指标数 据和所述各项外因指标 数据按照时间维度和样本维度排列为输入矩阵， 包括： 将同一预定时间点采样获得的所述各项内因指标数据和所述各项外因指标数据按照 样本维度排列为行向量， 其中， 在所述行向量中所述各项内因指标数据和所述各项外因指 标数据被打散； 以及 将各个预定时间点的所述行向量按照时间维度排列为所述输入矩阵。 3.根据权利要求2所述的智能监控看护方法， 其中， 将所述输入矩阵输入包含 并行子结 构和特征融合模块的卷积神经网络以获得解码特 征图， 包括：权　利　要　求　书 1/3 页 2 CN 114663833 A 2使用所述卷积神经网络的第一子结构的各层在层的正向传递中对输入数据进行基于 第一卷积核的卷积处理、 池化处理和激活处理以由所述第一子结构生成第一子特征图， 其 中， 所述第一子结构的第一层的输入为所述输入矩阵； 使用所述卷积神经网络的第二子结构的各层在层的正向传递中对输入数据进行基于 第二卷积核的卷积处理、 池化处理和激活处理以由所述第二子结构的最后一层输出第二子 特征图， 其中， 所述第二子结构的第一层的输入为所述第一子结构的第一层的输出； 以及 使用所述卷积神经网络的特征融合模块将所述第一子特征图与所述第二子特征图进 行相乘以获得 所述解码特征图。 4.根据权利要求3所述的智能监控看护方法， 其中， 所述第 一卷积核的尺寸大于所述第 二卷积核的尺寸， 所述第一子结构的层数与所述第二子结构的层数之差为2。 5.根据权利要求4所述的智能监控看护方法， 其中， 将所述解码特征图通过作为解码器 的全连接神经网络以获得解码损失函数值， 包括： 将所述解码特征图通过 所述解码器进行解码回归以获得解码值； 以及 计算所述 解码值与真实值之间的均方差作为所述 解码损失函数值。 6.根据权利要求5所述的智能监控看护方法， 其中， 所述标准网格为 其中， 使用更新后的所述卷积神经网络的卷积参数对所述解码器的多个全连接层的参 数矩阵进行卷积缩放， 所述卷积缩放基于标准网络、 所述卷积神经网络的卷积参数以及与 所述卷积神经网络的并行子结构的层数差对应的缩放因子进行， 包括： 使用更新后的所述卷积神经网络的卷积参数以如下公式对所述解码器的多个全连接 层的参数矩阵进行 卷积缩放； 其中， 所述公式为： 其中 是缩放因数， 表示卷积参数。 7.根据权利要求6所述的智能监控看护方法， 进一步包括： 基于所述解码值确定是否发 射预警提 示。 8.一种智能监控看护系统， 其特 征在于， 包括： 训练模块， 包括： 数据采样单元， 用于将与老人相关的各项内因指标数据和各项外因指标数据以预定时 间点进行采样， 其中， 所述内因指标 因数包括行为数据和生理指标数据， 所述外因数据包括 火灾信息、 室内温度、 室内湿度和照明度； 排列单元， 用于将采样 获得的所述数据采样单元获得的所述各项内因指标数据和所述 数据采样单 元获得的所述各项外因指标 数据按照时间维度和样本维度排列为输入矩阵； 解码特征图生成单元， 用于将所述排列 单元获得的所述输入矩阵输入包含 并行子结构 和特征融合模块的卷积神经网络以获得解码特征图， 其中， 所述卷积神经网络的各个并行 子结构用于以不同尺 寸的卷积核对输入数据进行 处理以生成多个子特征图， 所述特征融合 模块用于融合所述多个子特 征图以生成所述 解码特征图；权　利　要　求　书 2/3 页 3 CN 114663833 A 3