(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210253001.1 (22)申请日 2022.03.15 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 杨彪　顾钰涛　杨长春　徐黎明　 陈阳　吕继东　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 杨闯 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/10(2017.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于异构图学习的交通场景运动目标 感知方法 (57)摘要 本发明涉及智能交通技术领域， 尤其涉及一 种基于异构图学习的交通场景运动目标感知方 法， 包括S1、 引入目标检测网络实时检测 交通场 景中的运动目标； 结合多目标跟踪网络对目标进 行跟踪， 获得运动目标的观测轨迹； S2、 根据观测 轨迹建立异构图， 送入图变换网络编码； S3、 使用 运动编码器网络编码目标运动模式， 将结果与图 变换网络的编码结果拼接； S4、 将拼接得到的结 果送入运动状态解码器网络， 解码得到目标的预 测轨迹。 本发明基于异构图学习的检测 ‑跟踪‑预 测一体化框架， 可检测和跟踪场景中运动目标， 并预测目标未来运动轨迹； 通过使用异构图网络 建模交互关系， 从而改善 轨迹预测算法性能。 权利要求书3页 说明书7页 附图3页 CN 114723782 A 2022.07.08 CN 114723782 A 1.一种基于异构图学习的交通场景运动目标感知方法， 其特 征在于， 包括以下步骤： S1、 引入目标检测网络实时检测交通场景中的运动目标； 结合多目标跟踪网络对目标 进行跟踪， 获得运动目标的观测轨 迹； S2、 根据观测轨 迹建立异构图， 送入图变换网络编码； S3、 使用运动 编码器网络编码目标运动模式， 将结果与图变换网络的编码结果 拼接； S4、 将拼接得到的结果送入运动状态解码器网络， 解码得到目标的预测轨 迹。 2.如权利要求1所述的基于异构图学习的交通场景运动目标感知方法， 其特征在于， 所 述步骤S1具体包括： S11、 引入目标检测网络： 引入轻量级目标检测网络YOLOv5， YOLOv5由主干网络、 路径聚合网络、 输出三部分构 成； 主干网络部分负责从 图像中提取特征； 路径 聚合网络部分通过路径 聚合增强 图像底层 特征的同时对图像进行特征分割； 输出部分采用一维卷积神经网络对特征进行分类， 实现 目标检测； S12、 引入目标跟踪网络： 引入DeepSort算法对视频中的多个目标进行实时跟踪以获得运动目标的观测轨迹； DeepSort多目标跟踪算法是在目标跟踪的基础上引入表观特征提取网络； 在目标跟踪过程 中提取目标的表观特征进行最近邻匹配； DeepSort 算法的过程是先通过目标检测器获得检 测框后， 使用卡尔曼滤波预测目标下一时刻位置， 计算 目标当前帧与下一帧的马氏距离和 深度特征， 使用匈牙利算法将目标检测框与位置进 行关联， 更新卡尔曼滤波器， 实现对目标 的连续跟踪。 3.如权利要求1所述的基于异构图学习的交通场景运动目标感知方法， 其特征在于， 所 述步骤S2具体包括： S21、 将运动目标作为节点， 根据观测轨 迹建立异构图； 捕捉不同运动目标之间的相互影响， 将交通场景下的行人/车辆目标作为异构图的节 点， 将行人/车辆运动编 码作为节点特征； 同时， 利用目标的距离、 位置、 运动方向， 建立多种 影响关系， 并作为图中的边， 得到一个由多种类型节点和多种类型边构成的异构图； S22、 引入图变换网络从异构图中学习元路径， 获得 更好的节点表示； 首先使用1x1多通道卷积， 从中选择有效的邻 接矩阵， 然后将多个有效邻接矩阵相乘得 到元路径邻接矩阵， 最后应用图卷积网络 于元路径上， 生成新的节点表示。 4.如权利要求3所述的基于异构图学习的交通场景运动目标感知方法， 其特征在于， 所 述得到一个由多种类型节点和多种类型边构成的异构图包括： 首先， 由运动目标位置 定义目标i,j距离边矩阵Adist， 如下： 其中， xi是目标i的x轴坐标， xj是目标j的x轴坐标， yi是目标i的y轴坐标， yj是目标j的y 轴坐标， pi是目标i的观测轨 迹， pj是目标j的观测轨 迹；权　利　要　求　书 1/3 页 2 CN 114723782 A 2由目标的运动速度求出目标i,j之间的方向夹角cos值， 如下： 其中， vi指的是目标i的运动速度， vj指的是目标j的运动速度； 分别计算目标i和j的同向边矩阵As与反向边矩阵Ar， 如下： 最后， 定义目标i,j前位置矩阵Af与后位置矩阵Ab， 如下： 计算目标i和j相对位置向量relij， 公式为： relij＝pi‑pj 其中， relij为目标i和j相对位置向量， 将五个关系矩阵拼接， 得到异构图边矩阵， 如下： P＝Concat(Adist,As,Ar,Af,Ab) 在建立的异构图上使用图变换网络学习节点表示； 首先使用图变换层从异构图边矩阵 P中生成元路径， 具体表示 为： A＝Q1·Q2...Ql 其中， l表示第l种关系， e表示所有的关系类型， αl表示第l种关系选择权重矩阵， Ql为过 渡矩阵表示被选择的连接矩阵， A是由一组过渡矩阵相乘得到的元路径邻接矩阵； 使用GT层得到元路径邻接矩阵A后， 将图卷积网络应用于元路径邻接矩阵A， 得到节点 表示Z， 具体表示如下： Z＝σ(D‑1A1MW) 其中， A1＝A+I， D‑1是A的度矩阵， W是训练权重， Z表示运动目标之间的交互影响力， σ (·) 是 线 性 激 活 函 数 ， M 表 示 同 一 场 景 中 的 目 标 运 动 模 式 编 码 ， 由 公 式 中mi堆叠而成， mi是运动模式编码， 是M‑LSTM的隐状态， et i是 运动目标观测轨 迹的位置坐标编码成的固定 长度向量， Wm是M‑LSTM可学习权重。 5.如权利要求1所述的基于异构图学习的交通场景运动目标感知方法， 其特征在于， 所 述步骤S3具体包括：权　利　要　求　书 2/3 页 3 CN 114723782 A 3