(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211117591.1 (22)申请日 2022.09.14 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号 (72)发明人 李志伟　宫彦　鲁建丽　刘文卓　 王坤峰　 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/54(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06T 7/90(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06F 17/16(2006.01) G06F 17/14(2006.01) (54)发明名称 一种图像和车速信息融合的驾驶行为分类 方法及装置 (57)摘要 本申请提供了一种图像和车速信息融合的 驾驶行为分类方法及装置， 涉及智能驾驶技术领 域； 所述方法包括： 获取当前时刻的车载 RGB图像 和车速数据； 对当前时刻及当前时刻之前的预设 帧数的车速数据组成的车速序列进行处理， 得到 车速序列的语谱图； 利用预先训练完成的车速处 理模型对车速序列的语谱图进行处理， 得到车速 特征向量； 利用预先训练完成的图像处理模型对 当前时刻的车载RGB图像进行处理， 得到图像特 征向量； 利用预先训练完成的融合模 型对车速特 征向量和图像特征向量进行低秩双模态融合处 理， 得到融合特征； 利用预先训练完成的全连接 层对融合特征进行映射， 得到驾驶行为分类结 果。 本申请提高了驾驶行为分类的速度和精度。 权利要求书2页 说明书10页 附图3页 CN 115496978 A 2022.12.20 CN 115496978 A 1.一种图像和车速信息融合的图像和车速信息融合的驾驶行为分类方法， 其特征在 于， 所述方法包括： 获取当前时刻的车 载RGB图像和车速数据； 对当前时刻及 当前时刻 之前的预设 帧数的车速数据组成的车速序列进行处理， 得到车 速序列的语谱图； 利用预先训练完成的车速处理模型对车速序列的语谱图进行处理， 得到 车速特征向量； 利用预先训练完成的图像处理模型对当前时刻的车载RGB图像进行处理， 得到 图像特 征向量； 利用预先训练完成的融合模型对车速特征向量和图像特征向量进行低秩双模态融合 处理， 得到融合特 征； 利用预先训练完成的全连接层对融合特征进行映射， 得到驾驶行为分类结果， 所述驾 驶行为分类结果包括： 正常驾驶、 攻击性驾驶和困倦驾驶。 2.根据权利要求1所述的图像和车速信息 融合的图像和车速信息 融合的驾驶行为分类 方法， 其特征在于， 所述车速处理模型包括： 车速卷积神经网络、 第一池化层、 第一全连接 层、 第二全连接层和 第一归一化层， 其中， 所述车速处理模型的输入为车速序列的单通道语 谱图， 车速卷积神经网络用于将单通道的语谱图转换为512 通道的特征图； 所述车速处理模 型的输出为128维的车速特 征向量。 3.根据权利要求2所述的图像和车速信 息融合的驾驶行为分类方法， 其特征在于， 所述 图像处理模型包括： 图像卷积神经网络、 第二池化层、 第三全连接层、 第四全连接层和第二 归一化层， 所述图像处理模 型的输入为当前时刻的三通道RGB图像， 图像卷积网络用于将三 通道RGB图像转换为512通道的特 征图； 所述图像处 理模型的输出为128维的图像特 征向量。 4.根据权利要求3所述的图像和车速信 息融合的驾驶行为分类方法， 其特征在于， 所述 车速卷积神经网络和图像卷积神经网络的结构相同； 所述车速卷积神经网络包括依次连接 的第一卷积核、 第一批标准层、 第一激活函数ReLu、 第一卷积 基本单元、 第三池化层、 第二卷 积基本单元、 第三卷积基本单元、 第四池化层、 第四卷积基本单元和第五卷积基本单元； 其 中， 第一卷积核的大小为3 ×3， 步长Stride＝2,padding＝1； 五个卷积基本单元的结构相 同， 包括： 依次连接的第二卷积核、 第二批标准层和第二激活函数ReLu， 第二卷积核的大小 为3×3， 步长St ride＝1,pad ding＝1， pad ding为特征图边缘填充0的数量。 5.根据权利要求3所述的图像和车速信 息融合的驾驶行为分类方法， 其特征在于， 利用 预先训练完成的融合模型对车速特 征和图像特 征进行处 理， 得到融合特 征； 包括： 将128维的车速特征 向量增加一个维度， 生成129维的车速特征 向量Zs； 将128维 的图像 特征向量增 加一个维度， 生成12 9维的图像特 征向量Zv； 对三阶张量W进行低秩分解， 得到dh个两阶张量W1、 W2…、 Wdh‑1和Wdh； 三阶张量W为融合模 型待训练的参数； 将每个两阶张量分解 为： 权　利　要　求　书 1/2 页 2 CN 115496978 A 2其中； 为低秩因子； m＝1,2； i ＝1,2，…dh； j＝1,2， …R， R为成功分解的张量的秩； 将dh个低秩因子 进行重组拼接， 得到张量 其中， 为dh×129的矩阵； 低阶图像张量hv为： 低阶速度张量hs为： 其中， hv和hs为dh维向量； 依次将低阶图像张量hv的每个分量和低阶速度 张量hs的对应分量相乘， 将乘积结果与 偏置项b的对应的分量相加， 得到低阶融合张量h的每个分量； 由此得到预测的低阶融合张 量h， 其中， 偏置项b为融合模型待训练的参数； 则融合特 征为低阶融合张量h 。 6.根据权利要求1所述的图像和车速信 息融合的驾驶行为分类方法， 其特征在于， 所述 方法还包括： 对图像处 理模型、 车速处 理模型、 融合模型和全连接层进行 联合训练的步骤。 7.一种图像和车速信息融合的驾驶行为分类装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取当前时刻的车 载RGB图像和车速数据； 车速处理单元， 用于对当前时刻及当前时刻 之前的预设 帧数的车速数据组成的车速序 列进行处理， 得到车速序列的语谱图； 利用预先训练完成的车速处理模型对车速序列的语 谱图进行处 理， 得到车速特 征向量； 图像处理单元， 用于利用预先训练完成的图像处理模型对当前时刻的车载RGB图像进 行处理， 得到图像特 征向量； 融合单元， 用于利用预先训练完成的融合模型对车速特征向量和图像特征向量进行低 秩双模态融合处 理， 得到融合特 征； 分类单元， 用于利用预先训练完成的全连接层对融合特征进行映射， 得到驾驶行为分 类结果， 所述驾驶行为分类结果包括： 正常驾驶、 攻击性驾驶和困倦驾驶。 8.一种电子设备， 其特征在于， 包括： 存储器、 处理器和存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 ‑6任 一项所述的图像和车速信息融合的驾驶行为分类方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令被处理器执行时实现如权利要求1 ‑6任一项所述的图像和车速信息融 合的驾驶行为分类方法。权　利　要　求　书 2/2 页 3 CN 115496978 A 3