(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114081.9 (22)申请日 2022.09.14 (71)申请人 中国计量大 学 地址 310000 浙江省杭州市钱塘区学源街 258号 (72)发明人 夏楠　饶宾期　钱志卫　谢奇勋　 肖钞　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 10/766(2022.01) G06T 5/00(2006.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的可回收垃圾识别分类系统 (57)摘要 本发明属于可回收垃圾识别分类系统技术 领域， 尤其是基于深度学习的可回收垃圾识别分 类系统， 包括数据增广和模型改进， 所述数据增 广包括传统数据扩充、 针对小目标数据扩充和二 折数据增强， 所述数据扩充包括数据翻转、 图像 缩放、 图像剪裁、 添加噪声和改变亮度等方法， 采 用小目标扩充方法以及二折数据增强对数据集 图片数据增广处理， 所述模型改进包括DIoU和K ‑ means聚类算法， 所述DIoU边框回归损失函数来 提高可回收垃圾识别回归效果， 所述K ‑means聚 类算法减少先验框带来的误差、 使用P ‑CBAM提高 网络的回归精度、 引入Ghost模块降低网络的复 杂度。 本发明可将垃圾高效准确的进行分类， 解 决日常生活中人们不知如何进行垃圾分类的难 题。 权利要求书3页 说明书9页 附图8页 CN 115457322 A 2022.12.09 CN 115457322 A 1.基于深度 学习的可回收垃圾识别分类系统， 包括数据增广和模型改进， 其特征在于， 所述数据增广包括传统数据扩充、 针对小目标数据扩充和 二折数据增强， 所述数据扩充包 括数据翻转、 图像缩放、 图像剪裁、 添加噪声和改变亮度等方法， 采用小目标扩充方法以及 二折数据增强对 数据集图片数据增广处理， 所述模 型改进包括DIoU和K ‑means聚类算法， 所 述DIoU边框回归损失函数来提高可回收垃圾识别回归效果， 所述K ‑means聚类算法减少先 验框带来的误差、 使用P ‑CBAM提高网络的回归精度、 引入Ghost模块降低网络的复杂度。 2.根据权利要求1所述的基于深度学习的可回收垃圾识别分类系统， 其特征在于， 所述 针对小目标数据扩充 是在包含小目标的样本中复制粘贴小目标， 在 粘贴小目标时要保证粘 贴目标与先有目标不重 叠， 并且小目标应该 出现在合 适的位置 。 3.根据权利要求1所述的基于深度学习的可回收垃圾识别分类系统， 其特征在于， 所述 二折数据增强将图片横向翻转并组合后， 整体纵向翻转并组合， 最后将图片尺寸缩放到原 图尺寸， 完成二 折数据扩充。 4.根据权利要求1 ‑3任意一项所述的基于深度学习的可回收垃圾识别分类系统 的流程 为： S1： 首先， 选用ImageNet的一部分生活垃圾作为本研究的数据 集， 该数据 集按照国际垃 圾分类标准共分为5类， 包含纸板类、 玻璃类、 塑料类、 废纸类、 金属类， 但由于仅仅包含2000 多张图片， 数据不 足以支撑本研究， 故再选用及Kaggle上的常用生活垃圾作为补充数据集。 并将数据集图片利用makesense.ai工具 标注， 生成YOLO格式的标签文件； S2： 其次， 对选取的数据 集图片进行预处理， 在原始YOLOv5的基础 上使用传统数据扩充 包括数据翻转、 图像缩放、 图像剪裁、 添加噪声和改变亮度等方法， 采用小目标扩充方法以 及二折数据增强对 数据集图片数据增广处理。 将数据增广后的数据集送入到YOLOv5中训练 模型， 设计实验分析 数据增广对 模型性能的影响； S3： 改进YOLOv5模型， 使用DIoU边框回归损失函数来提高可 回收垃圾识别回归效果、 使 用K‑means聚类算法减少先验框带来的误差、 使用P ‑CBAM提高网络的回归精度、 引入Ghost 模块降低网络的复杂 度。 设计实验对比采用DIoU、 K ‑means聚类算法的YOLOv5网络与YOLOv5 基础网络的训练效果、 对比两者的检测效果， 分析实验数据， 评估对模型性能的影响。 设计 实验对比各种注 意力机制与P ‑CBAM在YOLOv5s下的平均准确率， 分析实验 结果。 最后设计模 型改进后与原始YOLOv5s的对比实验， 模型改进包括使用上述三种数据增广以及采用P ‑ CBAM和引入Ghost卷积， 分析实验结果； S4： 最后， 基于PyQt5设计上位机界面， 提高人机交互性能， 并部署到嵌入式AI平台 jetson nano上， 为实时监控 可回收垃圾的检测结果， 搭建物联网云平台， 实现jetson  nano 与云平台数据交 互。 5.根据权利要求 4所述的基于深度学习的可回收垃圾识别分类系统， 其特 征在于： a、 当模型建立完成后， 使用数据增广即经过上述三种数据扩充后的数据集， 对其进行 训练， 模型经过150次迭代后， 损失值渐渐趋于稳定， 损失值最终收敛到3.4左右， 模型训练 和验证损失值收敛并稳定， 说明数据增广后模型的训练是有效的； b、 将原始YOLOv5s无优化网络与使用上述三种数据增广方案的YOLOv5s网络进行对比， 使用上述三种 数据增广方案对模型检测精度影响较大， 检测效果较好， 通过上述三种 数据 增广方案， 常用的数据扩充办法可以提高数据量， 针对小目标数据扩充可减少目标样本不权　利　要　求　书 1/3 页 2 CN 115457322 A 2足对模型性能带来的负面影响， 二折数据增强可提升样本的丰富度， 综合方案通过提升模 型对不同尺寸目标的检测精度从而提升 了模型检测性能； c、 选取YOLOv5网络作为基础模型， 为提高模型检测精度及检测速度， 设计了一种基于 使用DIoU边框回归损失函数来提高可回收垃圾识别回归效果、 使用K ‑means聚类算法减少 了先验框带来的误差、 使用P ‑CBAM提高了网络的回归精度、 引入Ghost降低了网络的复杂度 提高了检测速度， 其中GhostConv为采用Ghost的卷积层， GhostC3为采用Ghost的C3层， SGhostCo nv和SGhostC 3表示不添加P‑CBAM机制的模块； d、 IoU为目标预测框与真实框的交集和并集之比， 该值越高， 相关度越高， 其计算公式 为： GIoU边框回归损失函数解决了IoU无法精确反应目标 预测框与真实框 的重合度问题， 其计算公式为： 当真实框和预测框为包含 关系时， |AC ‑(GT∪DR)|趋近于0， GIoU几乎退化为IoU； DIoU通过在IoU的基础上加入一个惩 罚项， 用于度量真实框和预测框中心 点之间的距离， 可直接最小化中心 点的距离， 加快收敛 速度， 其计算公式为： DI oU＝IoU‑P(GT， DR)； e、 两种不同的包含形式具有相同的IoU值和GIoU值， 但实际回归效果并不相同， 当两个 矩形框的中心点距离最大时， 回归效果最差； 当两个矩形框中心点重合时， 回归效果最好， 所以GIoU值并不能反映两个矩形框为包含或者不相交关系时的回归程度， 由于回归框的位 置直接决定了目标的具体位置， 对于真实框和预测框处于包含或者不相交关系的情况时， DIoU仍可以使预测框向真实框的中心点 不断靠近； f、 尽管YOLOv5 网络本身可以通过训练不断调整边界框， 但训练过程中大量的数据减缓 了收敛速度， 容易出现局部优化问题， 因此采用基于IoU的度量距离方式， 以最小化标注框 与聚类中心点距离为 目标函数， 以标注后可回收垃圾的数据集为基础， 对标注框的宽度和 高度进行多次聚类分析， 得到了符合目标尺 寸的k个聚类框， 考虑计算过程的复杂度， 选取k ＝2～15， 得到k与平均交并比之间的关系， 根据肘部法则同时考虑更高的召回率， 选取k＝ 12为聚类性能最 好的点； g、 为了进一步验证采用DIoU和K ‑means聚类算法对模型训练的影响， 设计了两种方法 的训练实验， 使用YOLOv5为基础网络， 原始方法为使用IoU的回归损失函数进行训练， 改进 后的方法为使用DIoU回归损失函数和K ‑means聚类算法进行训练， 其中， 原始模型经过500 个轮数后， 损失值趋于平稳， 最 终的损失值约为 1.2， 改进后的模 型， 经过200个轮数的训练， 便达到较低的值， 最终的损失值约为0.8， 比原 始模型的损失值低0.3； h、 在进行了模型训练对比实验后， 为了检验上述两种方法对检测结果的影响， 设计两 组实验， 一组为使用上述两种 方法的改进模型在测试集上进行检测， 一组为原始模型在相 同测试集上进行检测， 检测结果如图8所示， 其中Y代表添加了数据增广方案， N则代表不添 加， 改进后模型的平均精度和F1值分别提升了6.3％和 5％， 在添加数据增广后的检测效果 中， 改进后的模 型也提高了平均精度和F1值， 分别为98.2％和94.9％， 这表明改进后的模 型 平均精度更高， 模型改进是有效的； i、 注意力 机制通过给不同部分的特征图赋予权重或硬性选择部分特征图， 抑制无用信权　利　要　求　书 2/3 页 3 CN 115457322 A 3