(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221027326 3.4 (22)申请日 2022.03.18 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 田茂清　刘建博　伊帅　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 吴迪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G07F 9/02(2006.01) G07F 11/00(2006.01) (54)发明名称 异物检测方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种异物检测方法、 装置、 电 子设备及存储介质， 该方法包括： 获取反映存储 柜内环境的待检测图像， 存储柜中放置有物品； 对待检测图像进行目标检测， 得到每个物品的检 测框信息； 基于检测框信息， 对待检测图像中的 物品进行特征提取， 得到物品的目标特征提取结 果； 基于物品的目标特征提取结果以及预设的物 品特征库， 确定物品是否为异物， 其中， 物品特征 库包括第一物品对应的至少一个特征提取结果， 第一物品为预设的存放于存储柜内的物品， 特征 提取结果用于指示第一物品的物品种类信息， 异 物与所述第一物品不同。 本公开实施例， 基于物 品的目标特征提取结果以及预设的物品特征库， 能够检测出存储柜内的异物， 有利于提升用户的 使用体验。 权利要求书2页 说明书15页 附图9页 CN 114724025 A 2022.07.08 CN 114724025 A 1.一种异 物检测方法， 其特 征在于， 所述方法包括： 获取反映存 储柜内环境的待检测图像， 所述存 储柜中放置有至少一个物品； 对所述待检测图像进行目标检测， 得到所述待检测图像中的每 个物品的检测框信息； 基于所述检测框信息， 对所述待检测图像中的所述物品进行特征提取， 得到所述物品 的目标特征提取结果； 基于所述物品的目标特征提取结果以及预设的物品特征库， 确定所述物品是否为异 物， 其中， 所述物品特征库包括第一物品对应的至少一个特征提取结果， 所述第一物品为预 设的存放于所述存储柜内的物品， 所述特征提取结果用于指示所述第一物品的物品种类信 息， 所述异 物与所述第一物品不同。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述检测框信息， 对所述待检测 图像中的所述物品进行 特征提取， 得到所述物品的目标 特征提取结果， 包括： 获取预设的特 征提取网络； 基于所述检测框信 息以及所述预设的特征提取网络， 对所述待检测图像中的所述物品 进行特征提取， 得到所述物品的目标 特征提取结果。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述物品的目标特征提取结果以 及预设的物品特 征库， 确定所述物品是否为异 物， 包括： 确定所述物品的目标特征提取结果与所述预设的物品特征库中的每个特征提取结果 之间的距离信息， 得到 至少一个距离信息； 在所述至少一个距离信息符合预设条件的情况 下， 确定所述物品为异 物。 4.根据权利要求3所述的方法， 其特征在于， 所述距离信息包括余弦距离； 在至少一个 余弦距离中的最小余弦距离大于预设阈值的情况下， 确定所述至少一个余弦距离符合所述 预设条件。 5.根据权利要求 4所述的方法， 其特 征在于， 通过以下步骤确定所述预设阈值： 获取多个物品图像样本； 基于所述多个物品图样样本， 构建多个正样本对， 所述正样本对包括两个具有相同种 类信息的物品图像样本； 确定每个正样本对中的两个物品图像样本之间的第 一余弦距离， 得到多个第 一余弦距 离； 基于所述多个第一 余弦距离， 确定所述预设阈值。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述多个第一余弦距离， 确定所 述预设阈值， 包括： 将所述多个第一 余弦距离按照预设规则进行排序， 得到排序列表； 将所述排序列表中相对于目标余弦距离在预设相对排序位置处的第 一余弦距离， 确定 为所述预设阈值， 其中， 所述目标余弦距离为所述多个第一 余弦距离中的最大余弦距离 。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 确定所述预设阈值是否符合预设要求； 在所述预设阈值不符合所述预设要求的情况下， 对所述预设的特征提取网络进行重复 训练， 直至所述预设阈值符合所述预设要求。 8.根据权利要求7所述的方法， 其特征在于， 所述确定所述预设阈值是否符合预设要权　利　要　求　书 1/2 页 2 CN 114724025 A 2求， 包括： 基于所述多个物品图样样本， 构建多个负样本对， 所述负样本对包括两个具有不同种 类信息的物品图像样本； 确定每个负样本对中的两个物品图像样本之间的第 二余弦距离， 得到多个第 二余弦距 离； 基于所述多个第二 余弦距离， 确定所述预设阈值是否符合预设要求。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述多个第二余弦距离， 确定所 述预设阈值是否符合预设要求， 包括： 确定所述多个第二 余弦距离中大于所述预设阈值的目标 数量； 在所述目标 数量达到预设数量的情况 下， 确定所述预设阈值符合所述预设要求。 10.根据权利要求1 ‑9任一所述的方法， 其特 征在于， 所述方法还 包括： 在确定所述物品为异物的情况下， 生成提示信息， 并通过所述存储柜上的显示区域进 行显示或者语音播报所述 提示信息。 11.一种异 物检测装置， 其特 征在于， 包括： 图像获取模块， 用于获取反映存储柜内环境的待检测图像， 所述存储柜中放置有至少 一个物品； 目标检测模块， 用于对所述待检测图像进行目标检测， 得到所述待检测图像中的每个 物品的检测框信息； 特征提取模块， 用于基于所述检测框信息， 对所述待检测图像中的所述物品进行特征 提取， 得到所述物品的目标 特征提取结果； 异物确定模块， 用于基于所述物品的目标特征提取结果以及预设的物品特征库， 确定 所述物品是否为异物， 其中， 所述物品特征库包括第一物品对应的至少一个特征提取结果， 所述第一物品为预设的存放于所述存储柜内的物品， 所述特征提取结果用于指示所述第一 物品的物品种类信息， 所述异 物与所述第一物品不同。 12.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总 线通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至10任意一项所述的异 物检测方法。 13.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处 理器运行时执 行如权利要求1至10任意 一项所述的异 物检测方法。权　利　要　求　书 2/2 页 3 CN 114724025 A 3