(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085251.5 (22)申请日 2022.09.06 (71)申请人 丽水市鱼跃酿造食品有限公司 地址 323000 浙江省丽水市莲都区碧湖镇 碧云街862号 (72)发明人 陈旭东　王景弘　陈晓东　李超逸　 雍磊　项碧丽　黄丽芬　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) A23L 27/60(2016.01) C12G 3/02(2019.01) C12J 1/04(2006.01) G05D 27/02(2006.01) (54)发明名称 酒、 酱、 醋的智能化制备方法及其系统 (57)摘要 本申请涉及食品制造领域， 且更为具体地， 公开了一种酒、 酱、 醋的智能化制备方法及其系 统， 其基于发酵装置内的温度值和压力值在时序 维度上的动态变化特征以及发酵液在此时间段 内的发酵变化特征信息来综合进行当前时间点 的温度值应增大或减小的自适应分类控制， 以保 证发酵真菌具有相对较佳的活性。 特别地， 所述 发酵变化特征信息是利用差帧法从所述发酵液 的发酵监控视频提取的多个发酵关键帧中差分 所得的多个差分发酵关键帧通过作为特征提取 器的第一卷积神经网络后所得。 权利要求书3页 说明书12页 附图7页 CN 115294532 A 2022.11.04 CN 115294532 A 1.一种酒、 酱、 醋的智能化制备方法， 其特征在于， 包括： 获取预定时间段内发酵液的发 酵监控视频以及所述预定时间段内多个预定时间点的发酵装置内的温度值和压力值， 其 中， 所述发酵液在所述发酵装置内发酵； 利用差帧法从所述发酵监控视频提取多个发酵关 键帧； 计算所述多个发酵关键帧中相 邻两个发酵关键帧之 间的差分以得到多个差分发酵关 键帧； 将所述多个差分发酵关键帧通过作为特征提取器的第一卷积神经网络以得到发酵状 态变化特征矩阵； 将所述预定时间段内多个预定时间点的发酵装置内的温度值和压力值按 照时间维度分别排列为温度输入向量和压力输入向量后， 计算所述温度输入向量的转置向 量与所述压力输入向量之 间的乘积以得到温度 ‑压力关联矩阵； 将所述温度 ‑压力关联矩阵 通过作为特征提取器的第二卷积神经网络以得到温度 ‑压力关联特征矩阵； 计算所述温度 ‑ 压力关联特征矩阵相对于所述发酵状态变化特征矩阵的响应性估计以得到 分类特征矩阵； 基于所述分类特征矩阵的最大特征值的倒数， 对所述分类特征矩阵中各个位置的特征值进 行波函数表征聚合以得到校正后分类特征矩阵； 以及将所述校正后分类特征矩阵通过分类 器以得到分类结果， 所述分类结果用于表示当前时间点的温度值应增大或应减小。 2.根据权利要求1所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述利用差帧法从 所述发酵监控视频提取多个发酵关键 帧， 包括： 设定所述发酵监控视频中的初始图像 帧为 第一发酵关键帧； 计算所述 发酵监控视频中沿时间维度的其他图像帧与所述第一 发酵关键 帧之间的按位置像素差值以得到差 分图像帧； 计算所述差 分图像帧中所有位置的像素差值 的统计特征值； 以及基于所述统计特征值与预定阈值之间的比较， 确定所述差分图像 帧对 应的其他图像帧是否为发酵关键帧。 3.根据权利要求2所述的酒、 酱、 醋的智能化制备 方法， 其特 征在于， 其中， 所述计算所述差分图像帧中所有位置的像素差值的统计特征值， 包括： 计算所述 差分图像 帧中所有位置的像素差值的均值和标准差作为所述统计特征值； 其中， 所述基于 所述统计特征值与预定阈值之 间的比较， 确定所述差分图像帧对应的其他图像帧是否为 发 酵关键帧， 包括： 计算所述标准差与所述均值的加权和以得到差异特征值； 以及响应于所述 差异特征值大于或等于所述预定阈值， 确定所述差 分图像帧对应的其他图像帧为所述发酵 关键帧。 4.根据权利要求3所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述将所述多个差 分发酵关键帧通过作为特征提取器的第一卷积神经网络以得到发酵状态变化特征矩阵， 包 括： 使用所述作为特征提取器的第一卷积神经网络的各层在层的正向传递中分别对所述多 个差分发酵关键帧进 行卷积处理、 池化处理和非线性激活处理以由所述作为特征提取器的 第一卷积神经网络的最后一层输出 所述发酵状态变化特 征矩阵。 5.根据权利要求4所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述将所述温度 ‑ 压力关联矩阵通过作为特征提取器的第二卷积神经网络以得到温度 ‑压力关联特征矩阵， 包括： 使用所述作为特征提取器的第二卷积神经网络的各层在层的正向传递中分别对所述 温度‑压力关联矩阵进行卷积处理、 池化处理和非线性激活处理以由所述作为特征提取器 的第二卷积神经网络的最后一层输出 所述温度 ‑压力关联 特征矩阵。 6.根据权利要求5所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述计算所述温 度‑压力关联特征矩阵相对于所述发酵状态变化特征矩阵的响应性估计以得到 分类特征矩 阵， 包括： 以如下公式计算所述温度 ‑压力关联特征矩阵相对于所述 发酵状态变化特征矩阵权　利　要　求　书 1/3 页 2 CN 115294532 A 2的响应性估计以得到所述分类特 征矩阵； 其中， 所述公式为： 其中M1表示所述温度 ‑压力关联特征矩阵， M2表示所述发酵状态变化特征矩阵， M表示所 述分类特 征矩阵， 表示矩阵相乘。 7.根据权利要求6所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述基于所述分类 特征矩阵的最大特征值的倒数， 对所述分类特征矩阵中各个位置的特征值进 行波函数表征 聚合以得到校正后分类特征矩阵， 包括： 基于所述分类特征矩阵的最大特征值的倒数， 以如 下公式对所述分类特征矩阵中各个位置的特征值进行波函数表征聚合以得到所述校正后 分类特征矩阵； 其中， 所述公式为： 其中， M表示所述分类特征矩阵， mmax‑1表示所述分类特征矩阵中各个位置的特征值的最 大特征值的倒数， ⊙表示按位置点乘。 8.根据权利要求7所述的酒、 酱、 醋的智能化制备方法， 其特征在于， 所述将所述校正后 分类特征矩阵通过分类器以得到分类结果， 包括： 使用所述分类器以如下公式对所述校正 后分类特征矩阵进行处理以生成分类结果， 其中， 所述公式为： softmax{(Wn,Bn):…:(W1, B1)|Project(F)}， 其中Project(F)表示将所述校正后分类特征矩阵投影为向量， W1至Wn为 各层全连接层的权 重矩阵， B1至Bn表示各层全连接层的偏置矩阵。 9.一种酒、 酱、 醋的智能化制备系统， 其特征在于， 包括： 数据获取单元， 用于获取预定 时间段内发酵液的发酵监控视频以及所述预定时间段内多个预定时间点的发酵装置内的 温度值和压力值， 其中， 所述发酵液在所述发酵装置内发酵； 差帧单元， 用于利用差帧法从 所述发酵监控视频提取多个发酵关键 帧； 差分单元， 用于计算所述多个发酵关键 帧中相邻 两个发酵关键帧之间的差分以得到多个差分发酵关键帧； 发酵状态变化特征矩阵生成单 元， 用于将所述多个差 分发酵关键帧通过作为特征提取器的第一卷积神经网络以得到发酵 状态变化特征矩阵； 温度 ‑压力关联矩阵生成单元， 用于将所述预定时间段内多个预定时间 点的发酵装置内的温度值和压力值按照时间维度分别排列为温度输入向量和压力输入向 量后， 计算所述温度输入向量的转置 向量与所述压力输入向量之间的乘积以得到温度 ‑压 力关联矩阵； 温度 ‑压力关联特征矩阵生成单元， 用于将所述温度 ‑压力关联矩阵通过作为 特征提取器的第二卷积神经网络以得到温度 ‑压力关联特征矩阵； 分类特征矩阵生成单元， 用于计算所述温度 ‑压力关联特征矩阵相对于所述发酵状态变化特征矩阵的响应性估计以 得到分类特征矩阵； 校正单元， 用于基于所述分类特征矩阵的最大特征值的倒数， 对所述分 类特征矩阵中各个位置的特征值进行波函数表征聚合以得到校正后分类特征矩阵； 以及结 果生成单元， 用于将所述校正后分类特征矩阵通过分类器以得到分类结果， 所述分类结果 用于表示当前时间点的温度值应增大或应减小。 10.根据权利要求9所述的酒、 酱、 醋的智能化制备系统， 其特征在于， 所述差帧单元， 包 括： 第一发酵关键 帧设定子单元， 用于设定所述发酵监控视频中的初始图像 帧为第一发酵 关键帧； 差分图像 帧生成子单元， 用于计算所述发酵监控视频中沿时间维度的其他图像 帧 与所述第一发酵关键帧之间的按位置像素差值以得到差分图像 帧； 统计子单元， 用于计算权　利　要　求　书 2/3 页 3 CN 115294532 A 3