(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210718541.2 (22)申请日 2022.06.23 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 雷柏英　陈少滨　谢海　吴桢泉　 吕林　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 朱阳波 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 视网膜光学相干断层扫描图像检测方法、 装 置及终端 (57)摘要 本发明公开了一种视网膜光学相干断层扫 描图像检测方法、 装置、 终端及介质， 通过卷积神 经网络获取到不同尺度的多个图像特征， 分别用 来提取局部分类标记和通过Tran sformer层提取 全局分类标记， 并在Transformer层中采用交叉 注意力模块来交换不同尺度图像特征之间的特 征信息以弥补Tran sformer模型提取局部 特征的 不足， 然后将全局分类标记与局部分类标记融 合， 即进一步将图像中的局部信息与全局信息相 结合， 从而获得精准的识别和分类结果。 权利要求书2页 说明书12页 附图5页 CN 115205410 A 2022.10.18 CN 115205410 A 1.视网膜光学相干断层扫描图像 检测方法， 其特 征在于， 所述方法包括： 将视网膜光学相干断层扫描图像输入卷积神经网络， 获得不同尺度的图像特征并将所 述图像特征分组为包含两个图像特征的全局组和包含一个图像特征的局部组， 所述图像特 征至少为 三个； 将所述全局组输入Transformer层， 获得Transformer层输出的全局分类标记， 所述 Transformer层中包括交叉注意力模块， 所述交叉注意力模块用于在输入的两个图像特征 之间进行信息交换； 对所述局部组进行 特征提取， 获得局部分类标记； 将所有的所述全局分类标记与所述局部分类标记进行融合， 获得融合后分类标记； 基于所述融合后分类标记， 获得视网膜光学相干断层扫描图像的检测结果。 2.如权利要求1所述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 所述图像 特征为五个， 将所述图像特征分组获得两个所述全局组和一个所述局部组， 所述 Transformer层设有两个， 每 个所述全局组各输入一个所述Transformer层。 3.如权利要求1所述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 所述将所 述全局组输入Transformer层， 获得Transformer层输出的全局分类标记， 包括： 将所述全局组中的每个图像特征各输入一个第一Transformer编码器， 获得与图像特 征对应的第一特 征序列， 所述第一特 征序列中包括分类标记和补丁标记； 基于交叉注意力模块， 依次将所述全局组中每一个所述第 一特征序列的分类标记与另 一个所述第一特 征序列的补丁标记进行融合并更新分类标记对应的所述第一特 征序列； 将所述全局组中每个所述第一特征序列各输入一个第二Transformer编码器， 获得第 二特征序列； 拼接所有的所述第二特 征序列中的分类标记， 获得 所述全局分类标记。 4.如权利要求3所述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 所述基于 交叉注意力模块， 依次将所述全局组中每一个所述第一特征序列的分类标记与另一个所述 第一特征序列的补丁标记进行融合并更新分类标记对应的所述第一特 征序列， 包括： 根据第一维度对齐线性投影函数处理所述分类标记并将处理后的分类标记与所述补 丁标记融合， 获得第一融合后特 征序列； 将所述第一融合后特征序列输入交叉注意力编码器， 获得注意力得分加权后的特征序 列； 将所述分类标记与所述注意力得分加权后的特征序列输入第二维度对齐线性投影函 数， 获得处理后的分类标记， 所述第二维度对齐线性投影函数与所述第一维度对齐线性投 影函数相匹配； 将所述处 理后的分类标记与所述补丁标记融合， 获得第二融合后特 征序列； 根据第二融合后特 征序列更新分类标记对应的所述第一特 征序列。 5.如权利要求4所述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 所述交叉 注意力编码器采用了多头注意力机制， 所述交叉注意力编码器的表达式为： 其中， q＝f ′clsWq， k＝f′Wk， v＝f′Wv， Wq、 Wk、 为网络中可学习到的参数，权　利　要　求　书 1/2 页 2 CN 115205410 A 2C和h分别 为嵌入特征维度和 Transformer编码器中的头数量， f ′cls为融合后特征序列中的 分类标记， f ′为融合后特 征序列， IA(f ′)为注意力得分加权后的特 征序列。 6.如权利要求4述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 将所述分类 标记与所述注意力得分加权后的特征序列输入第二维度对齐线性投影函数， 获得 处理后的 分类标记， 包括： 根据第二维度对齐线性投影函数处理所述注意力得分加权后的特征序列， 获得处理结 果； 将所述处 理结果与所述分类标记进行向量相加， 获得 所述处理后的分类标记。 7.如权利要求1所述的视网膜光学相干断层扫描图像检测方法， 其特征在于， 所述基于 所述融合后分类标记， 获得视网膜光学相干断层扫描图像的检测结果后， 还 包括： 分别获取与所述检测结果对应的目标患者的水平扫描方向和垂直扫描方向的视网膜 光学相干断层扫描图像； 返回步骤所述将视网膜光学相干断层扫描图像输入卷积神经网络， 直至分别获得对应 于水平扫描方向的第一融合后分类标记和对应于垂直扫描方向的第二融合后分类标记； 将所述第一融合后分类标记和所述第二融合后分类标记拼接并分类， 获得分类结果。 8.视网膜光学相干断层扫描图像 检测装置， 其特 征在于， 所述装置包括： 图像特征获取模块， 用于将视网膜光学相干断层扫描图像输入卷积神经网络， 获得不 同尺度的图像特征并将所述图像特征分组为包含两个图像特征的全局组和包含一个图像 特征的局部组， 所述图像特 征至少为 三个； 全局分类标记提取模块， 将所述全局组输入Transformer层， 获得Transformer层输出 的全局分类标记， 所述Transformer层中包括交叉注 意力模块， 所述交叉注 意力模块用于在 输入的两个图像特 征之间进行信息交换； 局部分类标记提取模块， 用于对所述局部组进行 特征提取， 获得局部分类标记； 融合模块， 用于将所有的所述全局分类标记与所述局部分类标记进行融合， 获得融合 后分类标记； 分类模块， 用于基于所述融合后分类标记， 获得视网膜光学相干断层扫描图像的检测 结果。 9.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的视网膜光学相干断层扫描图像检测程序， 所述视网膜光学相干 断层扫描图像检测程序被所述处理器执行时实现如权利要求 1‑7任意一项所述视网膜光学 相干断层扫描图像 检测方法的步骤。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有视网膜光学 相干断层扫描图像检测程序， 所述视网膜光学相干断层扫描图像检测程序被处理器执行时 实现如权利要求1 ‑7任意一项所述视网膜光学相干断层扫描图像 检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205410 A 3