(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210285694.2 (22)申请日 2022.03.22 (71)申请人 聚时科技 （江苏） 有限公司 地址 210044 江苏省南京市江北新区智达 路6号智城园区4 号楼5楼东侧 (72)发明人 杨庆研　熊欣欣　郑军　 (74)专利代理 机构 襄阳蒲公英知识产权代理事 务所(普通 合伙) 42306 专利代理师 严明慧 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) B66C 13/44(2006.01) B66C 13/46(2006.01) (54)发明名称 一种基于自动行车远控系统的视频预测方 法 (57)摘要 本发明提出一种基于自动行车远控系统的 视频预测方法， 包括如下步骤， 通过相机拍摄获 取原始图像并进行解码； 收集相机获取的原始图 像数据生成训练集； 利用训练集训练MCNet模型 并通过MCNet模型对训练集进行数据处理； 将预 测图像中吊具的位置信息作为loss函数中的一 项， 在MCNet模型的主干网络后增加多层全连接 层输出吊具的位置信息， 并在MCNet模型更新时 增加吊具回归Loss函数； 对当前所用MCNet模型 进行复制得到镜像的MCNet模型； 以前一个历史 帧的原始图像为训练数据进行小步长训练； 以倒 数第二个历史帧的原始 图像作为训练数据的验 证数据对其进行性能验证， 若验证数据的精度更 高， 则MCNet模型接受更新优 化； 否则， 则MCNet模 型的网络 各权重保持不变； 将预测图像制视频流 并发布。 权利要求书1页 说明书4页 附图1页 CN 114638972 A 2022.06.17 CN 114638972 A 1.一种基于自动行 车远控系统的视频 预测方法， 其特 征在于， 包括如下步骤， S1： 通过相机拍摄获取原 始图像， 并进行解码； S2： 收集相机在各类工况 下获取的原 始图像数据生成训练集； S3： 利用训练集训练MCNet模型， 并通过MCNet模型对训练集进行数据处理， 得到预测图 像； S4： 将预测图像中吊具的位置信息作为loss函数中的一项， 在MCNet模型的主干网络后 增加多层全连接层， 输出吊具的位置信息， 并在M CNet模型 更新时增 加吊具回归L oss函数； 对当前所用MCNet模型进行复制， 得到一个镜像的MCNet模型； 以前一个历史帧的原始 图像为训练数据， 进行batc h‑size为1的小步长训练； 以倒数第二个历史帧的原始图像作为步骤S42中所述的训练数据的验证数据， 利用评 价函数Metric对其进行性能的验证， 若在验证数据的精度更高， 则MCNet模型接受更新优 化； 否则， 则M CNet模型的网络各权 重仍保持不变； Metric评价函数如下式： 其中， 代表自动行车的小车位置实际值， 代表自动行车的小车位置预测 值， 代表自动行车吊具的摆角实际值， 代表自动行车吊具的摆角预测值， 代表预测图像的相素预测值， 代表预测图像的相素实际值， k1， k2， k3代表各项的权 重； 重复步骤S42和步骤S43进行持续更新， 并记录更新总长数； S5： 将预测图像制作成h26 5格式的视频流并采用r tmp形式发布。 2.如权利要求1所述的基于自动行车远控系统 的视频预测方法， 其特征在于， 测试远控 系统的预测图像的预测时间的具体步骤如下： 步骤a： 用两块具有毫秒级精度的秒表进行对时， 分别记录两块秒表的开始时间S1和 S2； 步骤b： 将其中一块秒表放在相机下， 并在远控端屏幕上显示出来， 定义该秒表的时间 为E1； 同时用相机拍摄远控端屏幕和另一块秒表， 定义该秒表的时间为E2； 由下述 公式计算 远控系统的延时量， Delay＝(E1 ‑S1)‑(E2‑S2)； 其中Delay为延时量。权　利　要　求　书 1/1 页 2 CN 114638972 A 2一种基于自动行 车远控系统的视频预测方 法 【技术领域】 [0001]本发明涉及工业自动化控制领域， 尤其涉及一种基于自动行车远控系统的视频预 测方法。 【背景技术】 [0002]行车作为大负 载的通用物流设备， 在绝大部分的工厂车间都会用到各类行车起重 机， 如矿业， 钢铁行车， 有色金属行车， 机械加工制造业等。 行车的驾驶人员需要掌握一定的 技术技能， 同时又需要长时间的工作在狭小的驾驶室。 [0003]基于传统防摇算法， 一般采用可编程控制器和变频器， 根据操作指令及起重机的 实时运行状况计算出能消除载荷摇 摆的大小 车运行速度， 再通过变频器根据所要求的速度 驱动大车和小车运行， 从而实现消除起重 机载荷摇摆现象。 [0004]依靠此类方法， 但是由于技术和成本 的问题， 我国桥式起重机 的自动化程度还是 相当的低， 全行业的自动化 程度不到千分之一。 [0005]自动行车的远控和视频监控是一种有效解决工作环境差的方法， 但是目前行车的 远控一般采用的是相 对廉价的IPC相机作为主要传感器。 由于IPC相机， 一般存在着较大的 图像延时， 延时会极大的增 加操作的难度并且 存在安全隐患。 [0006]鉴于此， 实有必要提供一种新型的基于自动行车远控系统的视频预测方法以克服 上述缺陷。 【发明内容】 [0007]本发明的目的是提供一种基于自动行车远控系统的视频预测方法， 解决视频延时 的问题， 成本低， 且对网络延时要求较低， 可满足用户通过参数设置完成固定延时的补偿， 预测自动行 车的吊具的位置， 还能够极大地减少了计算 量。 [0008]为了实现上述目的， 本发明提供一种基于自动行车远控系统的视频预测方法， 包 括如下步骤， [0009]S1： 通过相机拍摄获取原 始图像， 并进行解码； [0010]S2： 收集相机在各类工况 下获取的原 始图像数据生成训练集； [0011]S3： 利用训练集训练MCNet模型， 并通过MCNet模型对训练集进行数据处理， 得到预 测图像； [0012]S4： 将预测图像中 吊具的位置信息作为loss函数中的一项， 在 MCNet模型的主干网 络后增加多层 全连接层， 输出吊具的位置信息， 并在MCNet模 型更新时增加吊具回归Loss函 数； [0013]对当前所用MCNet模型进行复制， 得到一个镜像的MCNet模型； 以前一个历史帧的 原始图像为训练数据， 进行batc h‑size为1的小步长训练； [0014]以倒数第二个历史帧的原始图像作为步骤S42中所述的训练数据的验证数据， 利 用评价函数Metr ic对其进 行性能的验证， 若在验证数据的精度更高， 则MCNet模 型接受更新说　明　书 1/4 页 3 CN 114638972 A 3