(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210289121.7 (22)申请日 2022.03.23 (71)申请人 成都瑞数猛 兽科技有限公司 地址 610000 四川省成 都市高新区天府大 道中段138 8号1栋1257号 (72)发明人 贾海涛　王云　乔磊崖　余梦鹏　 李玉琳　胡佳丽　李彧　李毅　 任利　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 40/284(2020.01) G06F 40/211(2020.01) (54)发明名称 一种基于三层LSTM推敲网络的图像语义理 解算法 (57)摘要 本发明属于图像描述领域， 具体为一种基于 三层LSTM推敲网络的 图像语义理解方法。 图像语 义理解算法通过为图片生成文字描述来挖掘图 片深层的语义信息， 该领域的发展同时依赖于计 算机视觉技术和自然语言处理技术的发展， 当前 主要使用编解码框架来实现图片生成文字描述 的功能， 然而即使当前的图像语义理解算法已经 能够完整的表达出图像中的内容， 但是表达的内 容往往不够细腻， 生成的词汇不能够精准的表达 出图片的内容和属性以及相互关系。 因此本发明 对基于编解码框架的的图像语义理解算法进行 了相应改进， 通过引入一层推敲层网络对原始生 成的描述进行推敲和润色， 提高解码器的表达能 力， 从而使得生成的描述语句的表达更加细腻准 确。 权利要求书2页 说明书4页 附图2页 CN 114782702 A 2022.07.22 CN 114782702 A 1.一种基于三层LSTM推敲网络的图像 语义理解 算法， 其特 征在于， 包括下列步骤： 步骤1： 输入一张图像， 使用卷积神经网络提取 该图像特 征； 步骤2： 将步骤1提取到的图像特 征进行平均池化操作得到全局特 征； 步骤3： 将步骤2中的全局特征和上一时刻生成的单词的词向量以及第三层LSTM上一时 刻的隐藏层的输出拼接之后输入第一层LSTM网络； 步骤4： 将步骤1提取的图像特征和第一层LSTM网络的隐藏层输出一起输入到第一层 LSTM和第二层LSTM网络之间的注意力网络； 步骤5： 将步骤4中的注意力网络的输出和第一层LSTM 网络隐藏层输出一起输入第二层 LSTM网络； 步骤6： 将步骤1中提取的图像特征和第二层LSTM 网络的隐藏层输出以及 “视觉哨兵 ”一 起输入第二层LSTM和第三层LSTM网络之间的自适应注意力网络； 步骤7： 将自适应注意力 网络的输出和第二层LSTM网络的隐藏层输出一起输入第三层 LSTM网络； 步骤8： 将第三层LSTM网络当前时刻的隐藏层输出和自适应注意力网络的输出做残差 连接之后输入到softmax层， 得到单词的概 率分布； 步骤9： 根据步骤8中的单词的概率分布， 取分布值最大的概率对应的单词， 得到当前时 刻的单词； 步骤10： 将每个时刻的输出的单词按序组成描述语句， 直到输出语句的单词长度达到 最大长度或者单词为结束符标志时， 结束输出。 2.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在 于， 所述步骤1中提取图像特 征的方法具体为： 步骤101： 使用Faster  R‑CNN网络处理图像， 取最后k个感兴趣区域的图像特征为输出 特征。 3.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在 于， 所述步骤2中获取全局特 征的方法具体为： 步骤201： 将步骤101中K个感兴趣区域的特 征取平均得到全局特 征。 4.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在 于， 所述步骤4中注意力网络处 理的方法具体为： 步骤401： 注意力网络使用双曲正切tanh激活函数处理图像特征和第一层LSTM网络的 隐藏层输出 得到输入图像特 征各个分量的权 重； 步骤402： 注意力网络将权重和对应的图像特征分量相乘再累加作为注意力网络的输 出。 5.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在 于， 所述步骤6中自适应注意力网络处 理的方法具体为： 步骤601： 自适应注意力网络使用双曲正切tanh激活函数处理图像特征、 “视觉哨兵 ”和 第二层LSTM网络的隐藏层输出 得到输入图像特 征各个分量和 “视觉哨兵”对应的权 重； 步骤602： 自适应注意力 网络将权重和对应的图像特征分量以及 “视觉哨兵 ”相乘再累 加作为注意力网络的输出。 6.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在权　利　要　求　书 1/2 页 2 CN 114782702 A 2于， 所述步骤8中残差连接的方法具体为： 步骤801： 将自适应注意力网络的输出和第三层LSTM网络的输出隐藏层相加作为 softmax层的输入。 7.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法， 其特征在 于， 所述步骤9中得到当前时刻单词的方法具体为： 步骤901： 从单词的概率分布中使用argmax函数获取最大值对应的索引， 从词汇表中取 索引对应的单词即为当前时刻的单词。权　利　要　求　书 2/2 页 3 CN 114782702 A 3