(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211107298.7 (22)申请日 2022.09.13 (71)申请人 广州迪迈信息科技有限公司 地址 510665 广东省广州市天河区广汕二 路604号409房 (72)发明人 阮炳新　韦向纯　徐彩银　 (74)专利代理 机构 北京博识智 信专利代理事务 所(普通合伙) 16067 专利代理师 邓凌云 (51)Int.Cl. A61B 5/318(2021.01) A61B 5/338(2021.01) A61B 7/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于循环神经网络的实时心脏疾病筛 查方法 (57)摘要 本发明提出一种基于循环神经网络的实时 心脏疾病筛查方法， 包括： 包括标准心电图纸图 像、 标准心音图纸图像、 图像数据提取模型、 BERT 数据相关性检测模型、 心电诊断模型、 心音诊断 模型和融合输出模型； 本发明涉及计算机视觉和 心脏病诊断领域， 特别指一种基于循环神经网络 的实时心脏疾病筛查方法； 本发明的优点在于： 心电诊断模 型、 心音诊断模型和融合输出模型综 合考虑了心电数据与心音数据， 可以按照心脏病 病情的严重程度给出分级诊断结果； 利用 Transformer并行计算的优点将数据快速降维后 使用RNN循环神经网络进行精确诊断； 患者可通 过手机拍摄心电数据与心音数据， 利用客户端 得 到诊断结果。 权利要求书3页 说明书8页 附图2页 CN 115363594 A 2022.11.22 CN 115363594 A 1.一种基于循环神经网络的实时心脏疾病筛查方法， 包括标准心电图纸图像、 标准心 音图纸图像、 图像数据提取模型、 BERT数据相关性检测模型、 心电诊断模型、 心音诊断模型 和融合输出模型； 所述标准心电图纸图像为心电机采集患者心电数据得到的图像， 与传统 心电图纸上显示的心电图不同， 标准心电图纸图像没有纵坐标轴只有横坐标和心电折线； 标准心音图纸图像为心音机采集患者心音 数据得到的图像， 与传统的心音图纸上显示的心 音图不同， 标准心音图纸图像没有纵坐标轴只有横坐标和心音折线； 标准心电图纸图像与 标准心音图纸图像的获取方法只需将心电图纸和心音图纸的纵坐标和格线删去即可； 作为 优选地， 所述图像数据提取模型包括 边缘提取、 边缘采样和数据归一 化： S1、 边缘提取， 对标准心电图纸图像和标准心音图纸图像进行边缘提取， 保留心电数据 和心音数据在标准心电图纸图像和标准心音图纸图像上的像素点； S2、 边缘采样， 为减少数据 量， 对S1中的像素点进行等间隔采样， 得到稀疏像素点， 统计 所有稀疏像素点所到图像的中央的距离， 并以向量的形式输出： 上式为标准心电图纸图像的稀疏数据的采样结果， 每个分量的维度 是1×m维， 共有N个 分量； 上式为标准心音图纸图像的稀疏数据的采样结果， 每个分量的维度 是1×m维， 共有N个 分量； S3、 数据归一化， 为提 高预测精度， 将向量 X ’和向量Y ’进行归一化处理， 得到向量 X和 向量Y： 上式为向量 X ’的归一化结果， 称为心电数据向量 X ， 每个分量的维度是1 ×m维， 心电 数据向量 X 共有N个分量； 上式为向量 Y ’的归一化结果， 称为心音数据向量 Y ，每个分量的维度是1 ×m维， 心音 数据向量 Y 共有N个分量。 2.根据权利要求1所述的一种基于循环神经网络的实时心脏疾病筛查方法， 其特征在 于： 所述BERT 数据相关性检测模 型包括位置嵌入层、 多头编码注 意力层和前馈网络层； 所述 位置嵌入层的具体位置编码的计算公式如下： 上式中， pt代表位置t处的位置编码分量， w表示频率， 具体定义 为：权　利　要　求　书 1/3 页 2 CN 115363594 A 2上式中，d为向量X的维度。 3.根据权利要求2所述的一种基于循环神经网络的实时心脏疾病筛查方法， 其特征在 于： 所述多头编 码注意力 层对输入到多头编 码注意力层的心电数据向量 X 或心音数据向量 Y计算各个分量之间的相关性， 具体操作步骤如下： S1、 随机生成特征提取矩阵 Gq、Gk和Gv， 所述特征提取矩阵 Gq、Gk和Gv的维度均为m ×（m/ 2） ； S2、 产生矩阵 Q、 矩阵K和矩阵V， 具体计算公式如下： 上式中计算得到的矩阵 Q、 矩阵K和矩阵V的维度均为 N×（m/2） ； S3、 计算注意力分数 Score1， 具体计算公式为： 上式中，dk为缩放因子； S4、 重复执行S1、 S2和S3， 再生成1个注意力 分数Score2， 并将Score1和Score2、 按列拼 接， 得到双头注意力分数 DiAtt， 其维度为 N×m； S5、 进行残差相加操作和层归一化操作得到编码自注意力层的输出 A， 具体计算公式如 下： 上式中，A代表编码自注意力层的输出， 其维度为N ×m， 每一行分别使用 A1、A2、 ...、AN‑1 和AN代表， 其维度均为1 ×m。 4.根据权利要求3所述的一种基于循环神经网络的实时心脏疾病筛查方法， 其特征在 于： 所述前馈网络层， 包括N个BP神经网络， 每个BP神经网络均由前馈输入层第一隐层、 第二 隐层和前馈输出层构成， 所述前馈输入层的输入为编码自注意力层的输出 A的每一列 A1、 A2、 ...、AN‑1和AN， 所述第一隐层均含有(m/2)个神经元， 第二隐层均含有(m/4)个神经元， 所 述前馈输出层含有(m/8)个神经 元， 具体计算步骤如下： S1、 分别将 A1、A2、 ...、AN‑1和AN输入到对应的BP神经网络中计算得到 B1、B2、 ...、BN‑1和 BN： 上式中，b1表示第一隐层的偏置， b2表示第二隐层的偏置， b3表示前馈输出层的偏置， W1 为第一隐层的内星权向量， W2为第二隐层的内星权向量， W2为第二隐层的内星权向量， W3为 前馈输出层的内星权向量， Bi为每个BP神经网络的输出， 具体为 B1、B2、 ...、BN‑1和BN；权　利　要　求　书 2/3 页 3 CN 115363594 A 3