(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210653859.7 (22)申请日 2022.06.10 (71)申请人 北京猫猫狗狗科技有限公司 地址 100085 北京市海淀区安宁庄后街 Q区 2层Q-101室 (72)发明人 吴琎　何振东　 (74)专利代理 机构 北京佳信天和知识产权代理 事务所(普通 合伙) 11939 专利代理师 田英楠 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于宠物姿态的心情识别方法 (57)摘要 本发明涉及一种基于宠物姿态的心情识别 方法， 包括对原始图像进行灰度化处理得到灰度 化图像； 基于Sobel算子对灰度化图像进行边缘 处理得到边缘轮廓图像， 对边缘轮廓图像处理得 到最大外接矩形， 再将前景目标从原始图像中抠 出得到预处理图像； 对预处理图像和原始图像分 别使用不同特征提取网络处理并融合， 预测得到 宠物类别； 对 预处理图像进行轮廓填充得到掩码 图像， 依次对掩码图像轮廓点的8像素邻域腐蚀， 得到骨架特征， 进一步计算得到尾部节点与身体 节点的夹角； 基于夹角和类别确定宠物心情； 通 过对掩码图像的每个像素点判断处理得到骨架， 不用担心 尾巴与身体分不开的情况， 容易计算尾 部与身体的夹角， 并且为了识别的准确性， 添加 了宠物分类识别。 权利要求书3页 说明书10页 附图3页 CN 114724190 A 2022.07.08 CN 114724190 A 1.一种基于宠物姿态的心情识别方法， 其特 征在于， 包括： 对原始图像进行灰度化处理， 得到灰度化图像； 基于Sobel算子对所述灰度化图像进行 边缘处理， 获得宠物前景目标的边缘轮廓图像， 对所述边缘轮廓图像处理得到最大外接矩 形， 基于所述 最大外接矩形， 将所述前 景目标从所述原 始图像中抠出， 得到预处 理图像； 对所述预处理图像和 原始图像分别使用不同特征提取网络处理并融合， 预测得到宠物 类别； 对所述预处理图像进行轮廓图像填充， 得到掩码图像， 依次对所述掩码图像轮廓 点的8 像素邻域进行腐蚀， 具体包括： 判断像素领域中是否含有3连通像素， 如果存在则将该点从 轮廓点中删除， 再依次判断是否含有3或者4连通像素、 3或者4 或者5连通像素、 3或者4 或者5 或者6连通像素、 3或者4 或者5或者6或者7连通像素， 若存在则将该点 从轮廓点中删除， 若不 存在则保留该点， 当所有轮廓点判断完成后得到前景目标 的伪骨架， 最后检测所述伪骨架 中的像素点是否含有2或者3或者4 或者5或者6或者7连通像素， 若存在则将该点从轮廓点中 删除， 若不存在则保留该点， 当伪骨架中的所有像素点判断完成后得到所述前景目标的骨 架特征； 利用所述骨架特征计算尾部节点与身体节点的夹角， 基于所述夹角和所述宠物类别确 定宠物心情。 2.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 利用所述骨架 特征计算尾部骨架与身体骨架的夹角， 包括： 基于特征提取网络对所述预处理图像处理识别得到的宠物身体区域和尾部区域， 确定 所述骨架特征包含的各个像素点相对于所述预 处理图像的位置， 将位于所述尾部区域的像 素点作为尾部节点， 以及将位于所述身体区域的像素点作为身体节点； 根据夹角公式计算得到尾部节点与身体节点的夹角， 所述夹角公式为： Tanα =|(k2 ‑k1)/(1+k1k2)| 其中α 为两个骨架的夹角， k1为尾部骨架的斜 率， k2为身体骨架的斜 率。 3.如权利要求2所述的一种基于宠物姿态的心情识别方法， 其特征在于， 当位于尾部区 域的像素点为两个时， 将与所述身体节点邻近的像素点作为尾部头节点， 另一个像素点作 为尾部尾节点， 根据所述夹角公式分别计算尾部头节点与身体节点的夹角， 与尾部头节点 和尾部尾结点的夹角， 将得到的两个夹角与所述宠物类别结合， 确定宠物 心情。 4.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 对所述预处理 图像和原 始图像分别使用不同特 征提取网络处 理并融合， 预测得到宠物类别， 包括： 对所述预处理图像进行第 一特征提取网络处理得到局部特征图像， 对所述原始图像进 行第二特征提取网络处理得到全局特征图像， 将所述全局特征图像和所述局部特征图像分 别进行全连接层处理， 得到对应的一 维向量， 对所述一 维向量进 行分类器计算， 分别得到与 预先设置的类别标签对应的类别概 率； 将相同类别标签对应的全局特征图像的类别概率和局部特征图像的类别概率进行加 权求和， 得到融合后类别概 率； 选择融合后类别概 率最大值对应的类别作为宠物 识别结果。 5.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 对所述原始图 像进行灰度化处 理， 得到灰度化图像， 包括： 基于RGB三通道对原始图像进行特征降维， 对每个通道的像素值赋予不同的权重系数，权　利　要　求　书 1/3 页 2 CN 114724190 A 2实现图像的灰度化处 理， 得到灰度化图像， 灰度化公式为： Yi=0.3Ri+0.59Gi+0.11Bi 其中， i表示当前图像像素值， Y表示灰度值， R表示R通道像素值， G表示G通道像素值， B 表示B通道像素值。 6.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 基于Sobel算 子对所述灰度化图像进行边 缘处理， 获得宠物前景目标的边 缘轮廓图像， 包括： 对所述灰度化图像分别进行横向滤波器和纵向滤波器处理， 分别得到每个目标像素块 包含的各个像素点对应的横向处理值和纵向处理值， 将 每个像素点对应的横向处理值与纵 向处理值的平方和进行开方运 算， 得到所述各个 像素点对应的卷积值； 判断各个像素点对应的卷积值是否超过预先设置的阈值， 如果超过所述阈值， 则将所 述像素点作为所述前景目标的边缘像素点； 将灰度化图像的所有边缘像素点组合， 构成所 述前景目标的边 缘轮廓图像。 7.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 对所述边缘轮 廓图像处 理得到最大外 接矩形， 包括： 根据所述前景目标的边缘轮廓图像的各个像素点相对于所述原始图像的位置坐标， 得 到横坐标的最大值和 最小值， 以及纵坐标的最大值和 最小值； 根据所述横坐标的最大值和 最小值， 以及纵坐标的最大值和最小值， 确定最大外 接矩形的范围， 其计算公式为： Xmin=Min(Xi) Xmax=Max(Xi) Ymin=Min(Yi) Ymax=Max(Yi) 其中Xi表示边缘像素点的横坐标， Yi表示边缘像素点的纵坐标， Min( •)表示最小值函 数， Max(•)表示最大值函数， Xmin和Xmax分别表示在横轴上的最小边缘像素点横坐标值和最 大边缘像素点横坐标值， Ymin和Ymax分别表示在纵轴上的最小边缘像素点纵坐标值和最大边 缘像素点纵坐标值。 8.如权利要求1所述的一种基于宠物姿态的心情识别方法， 其特征在于， 将所述前景目 标从所述原 始图像中抠出， 得到预处 理图像， 其处 理公式为： I=A[Xmin： Xmax： Ymin： Ymax] 其中， A表示原始图像， Xmin和Xmax分别表示在横轴上的最小边缘像素点横坐标值和最大 边缘像素点横坐标值， Ymin和Ymax分别表示在纵轴上的最小边缘像素点 纵坐标值和最大边缘 像素点纵坐标值， I表示预处 理图像。 9.如权利要求4所述的一种基于宠物姿态的心情识别方法， 其特征在于， 所述分类器为 Softmax分类 器， 计算公式为 其中， 公式中yi表示第i个类别的第一特征提取网络或第二特征提取网络的全连接层输 出的一维向量， Ps表示Softmax分类 器的输出概 率， c为类别数量， e为自然常数。权　利　要　求　书 2/3 页 3 CN 114724190 A 3