(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657622.8 (22)申请日 2021.12.3 0 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 蚁韩羚　唐锲　黄坤　余晓填　 王孝宇　陈宁　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 穆瑞丹 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 社交关系识别方法、 装置、 设备及存 储介质 (57)摘要 本申请是关于一种社交关系识别方法、 装 置、 设备及存储介质， 具体涉及图像识别领域。 所 述方法包括： 获取目标图像的目标图像特征， 并 在目标图像特征中提取出各个目标人物特征； 根 据各个目标人物特征以及目标图像特征， 构建人 物特征关系图； 根据人物特征关系图中的各个节 点， 生成各个目标查询向量将目标图像特征进行 维度变换后， 通过编码器进行编码处理， 获得目 标编码向量； 根据各个目标查询向量以及目标编 码向量， 通过具有自注意力层的解码器进行解码 处理， 获得各个目标人物之间的社交关系。 上述 方案可以在目标图像的整体特征中更加关注与 人物有关的特征， 从而提高获取到的社交关系的 准确性。 权利要求书2页 说明书12页 附图5页 CN 114529937 A 2022.05.24 CN 114529937 A 1.一种社交关系识别方法， 其特 征在于， 所述方法包括： 获取目标图像； 通过特征提取模型对目标图像进行特征提取， 获得目标图像特征， 并在所述目标图像 特征中提取 出各个目标 人物特征； 根据所述各个目标人物特征以及所述目标图像特征， 构建人物特征关系图； 所述人物 特征关系图中的各个节点用于指示各个目标 人物的图像特 征； 根据所述人物特征关系图中的所述各个节点， 生成各个目标查询向量； 所述目标查询 向量用于指示人物特 征关系图中两 两节点之间的关系； 将所述目标图像特 征进行维度变换后， 通过编码器进行编码处 理， 获得目标编码向量； 根据所述各个目标查询向量以及目标编码向量， 通过具有自注意力层的解码器进行解 码处理， 获得所述各个目标 人物之间的社交关系。 2.根据权利要求1所述的方法， 其特征在于， 所述在所述目标图像特征中提取出各个目 标人物特征， 包括： 通过兴趣区域池化层ROIP对所述目标图像特 征进行数据处理， 获得各个兴趣区域； 将所述各个兴趣区域中的图像特 征进行池化操作， 分别获得 各个目标 人物特征。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述各个所述目标人物特征以及 所述目标图像特 征， 构建人物特 征关系图， 包括： 将所述各个目标 人物特征作为所述各个节点的初始特 征； 通过全局平均池化层所述目标图像特征进行数据处理， 并将处理结果作为所述各个节 点之间的边的初始特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述人物特征关系图中的所述各 个节点， 生成各个目标查询向量之前， 还 包括： 对所述人物特征关系图， 进行迭代图卷积操作， 以更新所述人物特征关系图中的各个 节点的特 征； 所述根据 所述人物特征关系图中的所述各个节点两两之间的节点特征， 生成各个目标 查询向量， 包括： 将更新后的人物特征关系图中， 两两节点之间进行向量拼接， 获得各个所述目标查询 向量。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述人物特征关系图， 进行迭代图 卷积操作， 包括： 根据第T轮中第一节点的特征、 第T轮中第二节点的特征以及第T轮中所述第一节点与 所述第二节点之间的边的特征进行运算， 获取第T+1轮中第一节点与所述第二节点之间的 边的特征； 所述第一节点与所述第二节点是 所述人物特 征关系图中的任意两个节点； 根据第T轮第一节点的特征、 第T轮中与所述第一节点相邻的各个目标节点的特征， 以 及第T轮中各个所述目标节点与所述第一节 点之间的边特征进 行运算， 获得第T+1轮中第一 节点的特 征。 6.根据权利要求1至5任一所述的方法， 其特征在于， 所述将目标图像特征进行维度变 换后， 通过编码器进行编码处 理， 获得目标编码向量， 包括： 对所述目标图像特 征进行降维操作， 并拆分为各个具有目标维度的向量序列；权　利　要　求　书 1/2 页 2 CN 114529937 A 2通过第一位置特征分别与各个所述向量序列拼接， 并通过编码器进行处理， 获得所述 目标编码向量； 所述第一 位置特征为所述编码器中的参数。 7.根据权利要求6所述的方法， 其特征在于， 所述根据各个目标查询向量以及目标编码 向量， 通过具有自注意力层的解码器进行解码处理， 获得各个所述 目标人物之间的社交关 系， 包括： 将所述各个目标查询向量与第二位置特征拼接， 获得各个位置查询向量； 所述第二位 置特征为所述 解码器中的参数； 根据所述各个位置查询向量， 以及各个所述目标编码向量， 确定各个注意力系数； 基于所述各个注意力系数， 通过所述解码器对所述目标编码向量进行解码操作， 获得 所述各个目标人物的概率分布； 所述概率分布中的各个概率值用于指示所述目标人物之间 为各个社交关系的概 率。 8.一种社交关系识别装置， 其特 征在于， 所述装置包括： 目标图像获取模块， 用于获取目标图像； 特征提取模块， 用于通过特征提取模型对目标图像进行特征提取， 获得目标图像特征， 并在所述目标图像特 征中提取 出各个目标 人物特征； 关系图构建模块， 用于根据所述各个目标人物特征以及所述目标图像特征， 构建人物 特征关系图； 所述人物特征关系图中的各个节点用于指示各个目标人物的图像特征； 所述 各个节点之间的边用于指示所述各个目标 人物之间的特 征关系； 查询向量生成模块， 用于根据所述人物特征关系图中的所述各个节点， 生成各个目标 查询向量； 所述目标查询向量用于指示人物特 征关系图中两 两节点之间的关系； 编码向量生成模块， 用于将所述目标图像特征进行维度变换后， 通过编码器进行编码 处理， 获得目标编码向量； 社交关系推理模块， 用于根据所述各个目标查询向量以及目标编码向量， 通过具有自 注意力层的解码器进行解码处 理， 获得所述各个目标 人物之间的社交关系。 9.一种计算机设备， 其特征在于， 所述计算机设备中包含处理器和存储器， 所述存储器 中存储有至少一条指令、 至少一段程序、 代码集或指令集， 所述至少一条指令、 至少一段程 序、 代码集或指 令集由处理器加载并执行以实现如权利要求 1至7任一所述的社 交关系识别 方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令， 所 述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的社交关系识别方 法。权　利　要　求　书 2/2 页 3 CN 114529937 A 3