(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211106998.4 (22)申请日 2022.09.13 (65)同一申请的已公布的文献号 申请公布号 CN 115186775 A (43)申请公布日 2022.10.14 (73)专利权人 北京远鉴信息技 术有限公司 地址 100000 北京市海淀区西四环北路158 号1幢7层80 001-2 (72)发明人 田昌嘉　白世杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 梁韬 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/776(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) (56)对比文件 CN 110147457 A,2019.08.20 CN 113516143 A,2021.10.19 CN 110851644 A,2020.02.28 CN 113837257 A,2021.12.24 CN 112035671 A,2020.12.04 CN 114741581 A,202 2.07.12 WO 2022121171 A1,202 2.06.16 CN 111898544 A,2020.1 1.06 审查员 王宇莉 (54)发明名称 一种图像描述文字的匹配度检测方法、 装置 及电子设备 (57)摘要 本公开提供了一种图像描述文字的匹配度 检测方法、 装置及电子设备， 通过获取目标图像 以及对应的待检测描述文字； 识别目标图像中包 括的目标物体特征矩阵， 以及 待检测描述文字中 包括的目标词语表征矩阵； 确定目标物体特征矩 阵与目标词语表征矩阵之间的第一相似度； 根据 第一相似度， 确定目标图像与待检测描述文字 之 间的第一匹配度； 基于目标图像对应的预设基准 描述文字集合， 确定目标物体特征矩阵与目标词 语表征矩阵之间的第二相似度； 根据第二相似 度， 确定目标图像与待检测描述文字之间的第二 匹配度； 根据第一匹配度和第二匹配度， 确定目 标图像与待检测描述文字 之间的目标匹配度。 可 以准确检测图像内容与对应的描述文字之间的 匹配程度。 权利要求书3页 说明书12页 附图4页 CN 115186775 B 2022.12.16 CN 115186775 B 1.一种图像描述文字的匹配度检测方法， 其特 征在于， 包括： 获取目标图像以及对应的待检测描述文字， 其中， 待检测描述文字是通过预设的图像 ‑ 文字转换系统针对目标图像进 行识别后， 生成的一段针对目标图像中所展示的内容进 行描 述的文字； 识别所述目标图像中包括的目标物体特征矩阵， 以及所述待检测描述文字 中包括的目 标词语表征矩阵； 确定所述目标物体特 征矩阵与所述目标词语表征矩阵之间的第一相似度； 根据所述第一相似度， 确定所述目标图像与所述待检测描述文字之间的第一匹配度； 基于所述目标图像对应的预设基准描述文字集合， 确定所述目标物体特征矩阵与 所述 目标词语表征矩阵之间的第二相似度， 其中， 预设基准描述文字集合由不同的真人对该目 标图像的图像内容进行描述的描述 话语或描述文字构成； 根据所述第二相似度， 确定所述目标图像与所述待检测描述文字之间的第二匹配度； 根据所述第 一匹配度和所述第 二匹配度， 确定所述目标图像与 所述待检测描述文字之 间的目标匹配度； 所述确定所述目标物体特征矩阵与 所述目标词语表征矩阵之间的第 一相似度， 具体包 括： 确定所述目标物体特征矩阵中包括的目标物体特征向量， 与 所述目标词语表征矩阵中 包括的目标词语表征向量之间的向量距离； 根据所述向量距离以及预设的转移矩阵， 确定所述目标物体特征矩阵与所述目标词语 表征矩阵之间的第一相似度； 所述基于所述目标图像对应的预设基准描述文字集合， 确定所述目标物体特征矩阵与 所述目标词语表征矩阵之间的第二相似度， 具体包括： 基于所述预设基准描述文字集合， 为所述目标物体特征向量配置对应的物体特征权 重， 以及， 为所述目标词语表征向量配置对应的词语表征权 重； 根据所述向量距离、 所述转移矩阵、 所述物体特征权重以及所述词语表征权重， 确定所 述目标物体特 征矩阵与所述目标词语表征矩阵之间的第二相似度。 2.根据权利要求1所述的方法， 其特征在于， 所述识别所述目标图像中包括的目标物体 特征矩阵， 具体包括： 识别所述目标图像中包括的全部物体类别， 并确定每个所述物体类别对应的物体特征 向量以及像素面积信息； 在全部所述物体 类别中， 筛 选所述像素面积信息大于预设面积阈值的目标物体 类别； 由全部所述目标物体 类别对应的目标物体特 征向量构成所述目标物体特 征矩阵。 3.根据权利要求1所述的方法， 其特征在于， 基于以下方法识别所述待检测描述文字中 包括的目标词语特 征矩阵： 将所述待检测描述文字划分为多个描述词语， 确定每个所述描述词语对应的词性信 息； 过滤所述词性信 息为介词的所述描述词语， 确定过滤后的所述描述词语对应的目标词 语表征向量； 由全部所述目标词语表征向量构成所述目标词语表征矩阵。权　利　要　求　书 1/3 页 2 CN 115186775 B 24.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一匹配度和所述第 二匹配 度， 确定所述目标图像与所述待检测描述文字之间的目标匹配度， 具体包括： 分别为所述第一匹配度和所述第二匹配度配置对应的预设权 重系数； 根据所述预设权重系数， 将所述第一匹配度和所述第二匹配度加权求和， 确定所述目 标图像与所述待检测描述文字之间的目标匹配度。 5.根据权利要求1所述的方法， 其特征在于， 在所述根据 所述第一匹配度和所述第 二匹 配度， 确定所述目标图像与所述待检测描述文字之间的目标匹配度之后， 所述方法还 包括： 判断所述目标匹配度是否大于预设的匹配度阈值； 若大于， 则确定所述待检测描述文字针对所述目标图像的图像 内容描述准确； 若小于， 则确定所述待检测描述文字针对所述目标图像的图像内容描述 不准确。 6.一种图像描述文字的匹配度检测装置， 其特 征在于， 包括： 获取模块， 用于获取目标图像以及对应的待检测描述文字， 其中， 待检测描述文字是通 过预设的图像 ‑文字转换系统针对目标图像进行识别后， 生成的一段针对目标图像中所展 示的内容进行描述的文字； 识别模块， 用于识别所述目标图像中包括的目标物体特征矩阵， 以及所述待检测描述 文字中包括的目标词语表征矩阵； 第一相似度确定模块， 用于确定所述目标物体特征矩阵与所述目标词语表征矩阵之间 的第一相似度； 第一匹配度确定模块， 用于根据所述第一相似度， 确定所述目标图像与所述待检测描 述文字之间的第一匹配度； 第二相似度确定模块， 用于基于所述目标图像对应的预设基准描述文字集合， 确定所 述目标物体特征矩阵与所述 目标词语表征矩阵之间的第二相似度， 其中， 预设基准描述文 字集合由不同的真人对该目标图像的图像内容进行描述的描述 话语或描述文字构成； 第二匹配度确定模块， 用于根据所述第二相似度， 确定所述目标图像与所述待检测描 述文字之间的第二匹配度； 目标匹配度确定模块， 用于根据所述第一匹配度和所述第二匹配度， 确定所述目标图 像与所述待检测描述文字之间的目标匹配度； 所述第一相似度确定模块具体用于： 确定所述目标物体特征矩阵中包括的目标物体特征向量， 与 所述目标词语表征矩阵中 包括的目标词语表征向量之间的向量距离； 根据所述向量距离以及预设的转移矩阵， 确定所述目标物体特征矩阵与所述目标词语 表征矩阵之间的第一相似度； 所述第二相似度确定模块具体用于： 基于所述预设基准描述文字集合， 为所述目标物体特征向量配置对应的物体特征权 重， 以及， 为所述目标词语表征向量配置对应的词语表征权 重； 根据所述向量距离、 所述转移矩阵、 所述物体特征权重以及所述词语表征权重， 确定所 述目标物体特 征矩阵与所述目标词语表征矩阵之间的第二相似度。 7.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处 理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总线权　利　要　求　书 2/3 页 3 CN 115186775 B 3