(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210891701.3 (22)申请日 2022.07.27 (71)申请人 中国科学院上海光学精密机 械研究 所 地址 201800 上海市嘉定区清河路390号 (72)发明人 司徒国海 　刘海山　王飞　黎思腾　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 张宁展 (51)Int.Cl. G06F 3/14(2006.01) G06N 3/08(2006.01) H04N 5/268(2006.01) H04N 7/18(2006.01) (54)发明名称 实验数据采集以及透过散射介质成像深度 学习方法及系统 (57)摘要 本发明提供了一种实验数据采集以及透过 散射介质成像深度学习方法及系统， 基于自动切 换显示器画面实现的通用的自动采集大量实验 数据的方法， 通过该数据采集方法可以解决实际 散射场景中难以采集大量训练数据的问题； 利用 实验数据采集方法， 通过电子墨水屏辅助采集散 射数据， 并利用这些散射数据训练神经网络， 得 到适用于透过真实散射场景成像的深度学习技 术， 实现了透过强散射介质成像的目的； 提高了 成像系统的探测距离， 为交通安全、 水下救援和 消防救援提供了更强有力的技术； 对成像系统没 有提出额外的硬件需求， 提高了散射成像方法的 便利性和实用性； 相比于其他多源图像融合的方 法， 节约了 硬件成本 。 权利要求书2页 说明书11页 附图9页 CN 115237365 A 2022.10.25 CN 115237365 A 1.一种实验数据采集方法， 其特 征在于， 包括： 设置显示器的自动切换画面功能， 并将所述显示器的显示与成像系统的拍摄同步连 接； 将所述显示器放置在拍摄场景中； 控制所述显示器显示第一幅画面， 并控制所述成像系统同步采集所述第一幅画面； 利用所述显示器的自动切换画面功能， 重复执行上述步骤， 直至成像系统遍历拍摄完 所有图片， 获得多组实验数据； 其中： 所述设置 显示器的自动切换画面功能， 包括： 获取所需切换的图片， 并将所述图像 变量转为java类型； 调用java的swin g工具包实现图形 窗口的显示、 移动和切换画面操作， 实现所述显示器 的自动切换画面。 2.根据权利要求1所述的实验数据采集方法， 其特征在于， 所述调用java的swing工具 包实现图形窗口 的显示、 移动和 切换画面操作， 包括： 利用javax.sw ing创建JFrame类型变量； 设置所述JFrame类型变量的窗口属性 为无边框； 导入java类型的所需切换的图片， 并设置为窗口 的画面； 对所述画面进行显示； 切换下一张图片， 重复执行导入图片和显示画面的步骤， 实现所述显示器的自动切换 画面。 3.根据权利要求2所述的实验数据采集方法， 其特征在于， 所述显示器包括第 一显示器 和第二显示器， 所述第一显示器为默认显示器； 当所述第一显示器和所述第二显示器之间 进行切换时， 通过setLocation(length,0)函数将窗口平移至第二显示器， 再对画面进行显 示， 其中， length为第一显示器的横向像素宽度。 4.根据权利要求1所述的实验数据采集方法， 其特征在于， 所述显示器采用电子墨水 屏； 和/或 所述显示器放置在散射介质之中或之后。 5.一种实验数据采集系统， 其特征在于， 包括： 计算机、 成像系统和显示器； 所述成像系 统通过相 机数据线与所述计算机相连， 所述显示器通过视频信号线与所述计算机相连， 通 过所述计算机实现所述显示器的显示与所述成像系统的拍摄之间的同步连接； 其中： 所述计算机包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程 序， 所述处 理器执行所述程序时可用于实现所述显示器的自动切换画面功能。 6.根据权利要求5所述的散射数据采集系统， 其特征在于， 所述显示器采用电子墨水 屏； 和/或 所述成像系统包括相机和镜 头， 所述镜 头安装于所述相机上用于成像。 7.一种透过散射介质成像深度学习方法， 其特 征在于， 包括： 将所述电子墨水屏的显示与成像系统的拍摄进行同步连接， 在没有散射介质情况下， 获取清晰图片； 构建散射场景， 将所述电子墨水屏和所述成像系统分别放置于所述散射场景的两端，权　利　要　求　书 1/2 页 2 CN 115237365 A 2模拟探测任务， 获取散射图片； 构建训练数据集， 所述训练数据集包括： 所述清晰图片和所述散射图片； 在所述散射场景下， 撤掉电子墨水屏， 并在原电子墨水屏位置更换不同的真实物体， 通 过所述成像系统获取 所述真实物体的散射图片， 得到测试 数据集； 利用所述训练数据对神经网络进行训练， 得到训练好的网络模型； 将所述测试数据集输入至所述网络模型， 对所述测试数据集中的真实物体图像进行恢 复， 得到测试优化后的网络模型； 将所述网络模型应用于与 所述散射场景相同的其他散射场景中， 直接复原真实物体图 像； 其中： 所述清晰图片和所述散射图片， 利用权利要求1 ‑3中任一项所述的实验数据采集方法 实现。 8.根据权利要求7所述的透过散射介质成像深度学习方法， 其特征在于， 所述散射场景 包括： 浑浊 水体、 浓雾天气和烟尘 现场。 9.根据权利要求7所述的透过散射介质成像深度学习方法， 其特征在于， 所述神经网络 包括： 卷积神经网络、 生成对抗网络和Tansformer网络 。 10.一种透过散射介质成像深度 学习系统， 其特征在于， 包括： 计算机、 成像系统和电子 墨水屏； 所述成像系统通过相 机数据线与所述计算机相连， 所述电子墨水屏通过视频信号 线与所述计算机相连， 通过计算机实现所述电子墨水屏的显示与所述成像系统的拍摄之间 的同步连接； 其中： 所述计算机包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程 序， 所述处理器执行所述程序时可用于实现所述电子墨水屏的自动切换画 面功能和所述网 络模型的散射成像功能。 11.根据权利要求10所述的透过散射介质成像深度 学习系统， 其特征在于， 所述成像系 统包括相机和镜 头， 所述镜 头安装于所述相机上用于成像。权　利　要　求　书 2/2 页 3 CN 115237365 A 3