(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210994918.7 (22)申请日 2022.08.18 (71)申请人 上海天心星机 器人有限公司 地址 200092 上海市杨 浦区鞍山路5号13楼 (72)发明人 史文华　陈立平　 (74)专利代理 机构 上海智信专利代理有限公司 31002 专利代理师 王洁　郑暄 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) (54)发明名称 基于多模态融合处理实现精确检测大小便 的方法、 装置、 处 理器及其计算机可读存 储介质 (57)摘要 本发明涉及一种基于多模态融合处理实现 精确检测大小便的方法， 其中， 该方法包括以下 步骤： (1)根据用户的实际感知以及个人体验， 确 定大小便检测判断优先级； (2)对大小便检测特 征形态进行特征分类识别处理； (3)根据分类处 理结果， 对分类处理的各个单一特征进行融合分 析， 获取用户大小便特征融合判断结果； (4)根据 获取到的用户大小便特征融合判断结果， 系统完 成大小便的精 准检测的响应处理以及用户清洁， 并为用户提供身体状态的智能分析， 以供其参 考。 本发明还涉及一种相应的装置、 处理器及其 存储介质。 采用了本发明的该方法、 装置、 处理器 及其存储介质， 基于多模态融合处理， 能够为失 能人群大小便照护产品真正进入市场提供指导 和方向。 权利要求书3页 说明书9页 附图1页 CN 115319745 A 2022.11.11 CN 115319745 A 1.一种基于多模态融合处理实现精确检测大小便的方法， 其特征在于， 所述的方法包 括以下步骤： (1)根据用户的实际感知以及个人体验， 确定大小便检测判断优先级； (2)根据优先级的判断结果， 对大小便检测特 征形态进行 特征分类识别处 理； (3)根据分类处理结果， 采用多模态融合策略对分类处理的各个单一特征进行融合分 析， 以获取用户大小便特 征融合判断结果； (4)根据获取到的所述的用户大小便特征融合判断结果， 系统完成大小便的精准检测 的响应处 理以及用户清洁， 并为用户提供身体 状态的智能分析， 以供其 参考。 2.根据权利要求1所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(1)具体为： 根据用户的实 际感知以及个人体验， 并基于特征判断重要性确定大小便检测优先级， 所述的大小便检测优先级设置为按照以下顺序进行确认： a、 判断是否有大小便； b、 判断是否大便(可包 含小便)开始； c、 判断是否大便(可包 含小便)结束； d、 判断是否只有 小便； e、 判断是否小便结束。 3.根据权利要求2所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(2)具体为： 利用大小便检测优先级的判断结果， 根据时间类特征、 触发信号特征、 形态变化特征、 物理检测特征以及其他大小便固液状态识别特征， 对检测到的大小便判断结果进 行特征分 类识别处 理。 4.根据权利要求3所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的时间类特 征包括但不限于： 大小便发生的时间、 持续时间以及间隔时间； 所述的触发信号特 征包括但不限于： 遮挡以及碰撞； 所述的形态变化特 征包括但不限于： 形状、 面积、 堆积以及空洞； 所述的物理检测特 征包括但不限于： 温度、 湿度、 声 音以及重量。 5.根据权利要求4所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(3)中所述的多模态融合策略包括： 时间轴同步算法策略， 所述的时间轴同步算法策略用于根据检测到的大小便的各个分 类特征， 将时间分辨率选取特征频率最高的时钟进行同步处理， 再利用最高时钟对其余特 征频率较低的时钟进行拟合处 理， 以获取相应的大小便时间轴同步采集结果。 6.根据权利要求4所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(3)中所述的多模态融合策略包括： 时间类特征采集策略， 所述的时间类特征采集策略根据大小便在不同阶段的发生状 态， 基于同步时钟进行相应参数的数据特 征采集。 7.根据权利要求4所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(3)中所述的多模态融合策略包括：权　利　要　求　书 1/3 页 2 CN 115319745 A 2空间类特征采集分析策略， 所述的空间类特征采集分析策略用于根据大小便形态特 征、 时间触发特征以及物理检测特征， 对当前大小便在空间状态下 的不同特征进行采集分 析。 8.根据权利要求7所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 采用直方图分析、 形态学方法 以及扫描线算法获得待检测大小便的形状和面积， 进而 获得是否产生形态变化的结果， 以获取 所述的大小便形态特 征； 当系统检测到触发信号特征， 则开始进行计时获得大小便的开始时间， 并同步分析其 他特征的有效性， 从而确定 本次计时的有效性以及结束时间， 以获得相应的时间触发特 征； 利用温度传感器、 湿度传感器、 声音传感器以及重量传感器对所述的物理检测特征进 行采集分析。 9.根据权利要求5至8中任一项所述的基于多模态融合处理实现精确检测大小便的方 法， 其特征在于， 所述的步骤(3)中所述的多模态融合策略还 包括： 空间特征融合算法策略， 所述的空间特征融合算法策略用于将 获取到的数个单一特征 分类识别结果设置成对应的数个弱分类器， 并将数个所述的弱分类器按照特征融合算法形 成强分类 器， 以获取 大小便最终的特 征融合判断结果。 10.根据权利要求9所述的基于多模态融合处理实现精确检测大小便的方法， 其特征在 于， 所述的步骤(4)具体为： 系统根据获取到的特征融合判断结果， 利用智能大小便机器人的自清洁处理系统对检 测识别到的大小便的实际发生情况， 按照用户的体感和个人习惯进行响应处理， 以配置最 优适配参数进行用户大小便的清洁和烘干处 理， 并提供用户近期身体 状态参考数据。 11.根据权利要求10所述的基于多模态融合处理实现精确检测大小便的方法， 其特征 在于， 所述的步骤(4)包括以下步骤： (4.1)利用智能大小便机器人的自清洁处理系统对检测到的大小便特征融合判断结 果， 进行大小便状态感应处 理以及大小便收集处 理； (4.2)待污物收集完毕后， 根据用户的体感和个人习惯进行清洁和烘干处 理； (4.3)根据用户每次大小便产生的识别检测 情况， 进行累计智能统计分析， 并基于该统 计分析结果给出当前该用户的近期身体 状态， 以供 所述的用户进行参 考使用。 12.一种基于多模态融合处理实现精确检测大小便的装置， 其特征在于， 所述的装置包 括： 处理器， 被配置成执 行计算机可 执行指令； 存储器， 存储一个或多个计算机可执行指令， 所述计算机可执行指令被所述处理器执 行时， 实现权利要求11所述的基于多模态融合处理实现精确检测大小便的方法的各个步 骤。 13.一种基于多模态融合处理实现精确检测大小便的处理器， 其特征在于， 所述的处理 器被配置成执行计算机可执行指令， 所述的计算机可执行指令被所述的处理器执行时， 实 现权利要求1 1所述的基于多模态融合处 理实现精确检测大小便的方法的各个步骤。 14.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述的计算机程 序可被处理器执行以实现权利要求11所述的基于多模态融合处理实现精确检测大小便的权　利　要　求　书 2/3 页 3 CN 115319745 A 3