(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210658909.0 (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114743224 A (43)申请公布日 2022.07.12 (73)专利权人 金乡县康华乳业有限公司 地址 272000 山东省济宁市金乡县金乡镇 霍古村 (72)发明人 胡小然　孙宏磊　任素兰　韩兴荣　 李珂　曹维伟　巩新廷　孙晓宗　 赵德浩　聂彬　 (74)专利代理 机构 济宁仁礼信知识产权代理事 务所(普通 合伙) 37383 专利代理师 李琼 (51)Int.Cl. G06V 40/10(2022.01)G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/45(2017.01) G06K 9/62(2022.01) G01J 5/48(2006.01) A01K 29/00(2006.01) (56)对比文件 CN 111783691 A,2020.10.16 CN 112734731 A,2021.04.3 0 审查员 宋海荣 (54)发明名称 一种基于计算机视觉的畜牧业家畜体温监 控方法与系统 (57)摘要 本发明涉及计算机视觉技术领域， 具体涉及 一种基于计算机视觉的畜牧业家畜体温监控方 法与系统， 该方法包括： 分别获取可见光图像和 热成像图像； 根据所述可见光图像， 构建家畜三 维模型， 并对家畜三维模型进行图像切割， 得到 家畜头部模型； 根据所述家畜头部模型， 获取包 含家畜眼睛的模 型面部图像； 获取模 型面部图像 的纹理信息得到模型纹理图像； 将模 型面部图像 和模型纹理图像进行融合得到面部特征图像； 利 用神经网络对面部特征图像进行处理得到家畜 眼内角点高斯分布图， 进而得到眼内角点坐标； 根据所述眼内角点坐标以及所述热成像面部图 像， 确定眼内角点的温度为家畜的体温。 本发明 能够提高家畜体温检测的效率。 权利要求书3页 说明书6页 附图2页 CN 114743224 B 2022.09.09 CN 114743224 B 1.一种基于计算机 视觉的畜牧业家畜体温监控方法， 其特 征在于， 该 方法包括： 分别获取 可见光图像和热成像图像， 并得到可 见光面部图像和热成像面部图像； 根据所述可见光图像， 构建家畜三维模型， 对每个家畜三维模型进行分类， 获得家畜眼 睛为睁开状态的家畜三维模型， 并对家畜眼睛处于睁开状态的家畜三维模型进行图像切 割， 得到家畜头 部模型； 其中， 分类的过程具体为： 1） 对家畜三维模型进行标记， 当家畜三维模型的面部与相机 视角存在一定倾斜角度时， 即眼内角明显显 现出来， 同时家畜的眼睛为睁开状态时， 则该家 畜三维模型图像标记 为1， 若家畜眼睛为紧闭状态， 则该家畜三 维模型图像标记 为0； 2） 利用 标记的家畜三维模型图像对分类网络进行训练， 分类网络的输入为家畜三维模型图像， 输 出为家畜三 维模型图像标记为1、 0的概率； 3） 最 终判断每个家畜三 维模型图像的标记， 对于 分类网络的输出， 采用Argmax操作获取图像的标记， 根据标记对家畜三维模 型进行分类， 若 家畜三维模型图像标记为1， 则进行后续计算； 即对家畜三维模型图像标记为1的家畜三维 模型进行图像切割， 得到每 个家畜的家畜头 部模型； 根据所述家畜头部模型， 获取包含家畜眼睛的模型面部 图像； 获取模型面部 图像的纹 理信息得到模型纹 理图像； 将可见光面部 图像、 热成像面部 图像、 模型面部 图像以及模型纹理图像进行融合得到 面部特征图像； 利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图， 进而得到眼内 角点坐标； 根据所述眼内角点坐标以及所述热成像面部图像， 确定眼内角点的温度为家畜 的体温。 2.根据权利要求1所述的一种基于计算机视觉的畜牧业家畜体温监控方法， 其特征在 于， 所述获取模型面部图像的纹 理信息得到模型纹 理图像具体为： 采用灰度共生矩阵对所述模型面部 图像进行纹理特征提取， 得到纹理特征熵图像， 记 为模型纹 理图像， 该模型纹 理图像与模型面部图像大小相同。 3.根据权利要求1所述的一种基于计算机视觉的畜牧业家畜体温监控方法， 其特征在 于， 所述神经网络的训练过程具体为： 根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注， 以标注点为中心生成 大小为n×m的家畜眼内角点高斯分布图， 得到标签数据； 面部特征图像为训练时神经网络 的输入， 标签数据为训练时神经网络的输出， 对神经网络进行训练， 得到训练好的神经网 络。 4.根据权利要求3所述的一种基于计算机视觉的畜牧业家畜体温监控方法， 其特征在 于， 所述神经网络的损失函数为： 其中， 表示神经网络输出的家畜眼内角在位置 处的概率， 表示标签 数据中家畜权　利　要　求　书 1/3 页 2 CN 114743224 B 2眼内角在位置 处的概率， N表示家畜内眼角点的高斯分布图的像素数量， 家畜内眼角点 高斯分布图尺寸大小为 n×m， 、 为超参数。 5.一种基于计算机 视觉的畜牧业家畜体温监控系统， 其特 征在于， 该系统包括： 图像获取模块， 用于分别获取可见光图像和热成像图像， 并得到可见光面部 图像和热 成像面部图像； 模型获取模块， 用于根据 所述可见光图像， 构建家畜三维模型， 利用分类网络对每个家 畜三维模型进行分类， 获得家畜眼睛为睁开状态的家畜三维模型， 并对家畜眼睛处于睁开 状态的家畜三维模型进行图像切割， 得到家畜头部模型； 其中， 分类的过程具体为： 1） 对家 畜三维模型进行标记， 当家畜三维模型 的面部与相 机视角存在一定倾斜角度时， 即眼内角 明显显现出来， 同时家畜的眼睛为睁开状态 时， 则该家畜三维模型图像标记为1， 若家畜眼 睛为紧闭状态， 则该家畜三 维模型图像标记 为0； 2） 利用标记的家畜三 维模型图像对分类网 络进行训练， 分类网络的输入为家畜三 维模型图像， 输出为家畜三 维模型图像标记为 1、 0的 概率； 3） 最终判断每个家畜三 维模型图像的标记， 对于 分类网络的输出， 采用Argmax操作获 取图像的标记， 根据标记对家畜三维模型进行分类， 若家畜三维模型图像标记为1， 则进行 后续计算； 即对家畜三 维模型图像标记为 1的家畜三 维模型进 行图像切割， 得到每个家畜的 家畜头部模型； 模型分析模块， 用于根据 所述家畜头部模型， 获取包含家畜眼睛的模型面部图像； 获取 模型面部图像的纹理信息得到模 型纹理图像； 将可见光面部图像、 热成像面部图像、 模型面 部图像以及模型纹 理图像进行融合得到面部特 征图像； 体温检测模块， 用于利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分 布图， 进而 得到眼内角点坐标； 根据所述眼内角点坐标以及所述热成像面部图像， 确定眼内 角点的温度为家畜的体温。 6.根据权利要求5所述的一种基于计算机视觉的畜牧业家畜体温监控系统， 其特征在 于， 所述获取模型面部图像的纹 理信息得到模型纹 理图像具体为： 采用灰度共生矩阵对所述模型面部 图像进行纹理特征提取， 得到纹理特征熵图像， 记 为模型纹 理图像， 该模型纹 理图像与模型面部图像大小相同。 7.根据权利要求5所述的一种基于计算机视觉的畜牧业家畜体温监控系统， 其特征在 于， 所述神经网络的训练过程具体为： 根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注， 以标注点为中心生成 大小为n×m的家畜眼内角点高斯分布图， 得到标签数据； 面部特征图像为训练时神经网络 的输入， 标签数据为训练时神经网络的输出， 对神经网络进行训练， 得到训练好的神经网 络。 8.根据权利要求7所述的一种基于计算机视觉的畜牧业家畜体温监控系统， 其特征在 于， 所述神经网络的损失函数为：权　利　要　求　书 2/3 页 3 CN 114743224 B 3