(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221082874 4.7 (22)申请日 2022.07.15 (65)同一申请的已公布的文献号 申请公布号 CN 114913173 A (43)申请公布日 2022.08.16 (73)专利权人 天津御锦人工智能医疗科技有限 公司 地址 300457 天津市滨 海新区经济技 术开 发区洞庭路220号天津国际生物医药 联合研究院实验楼十四S1405、 S1404、 S1414、 S1415、 S1424 (72)发明人 王玉峰　 (74)专利代理 机构 北京东岩跃扬知识产权代理 事务所(普通 合伙) 11559 专利代理师 谷岳(51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111415564 A,2020.07.14 CN 113344926 A,2021.09.0 3 CN 1091468 84 A,2019.01.04 CN 108615 037 A,2018.10.02 US 2022020496 A1,202 2.01.20 徐铭 等.基 于深度学习的消化内镜 检查辅 助质量控制系统研究 （含视频）. 《中华消化内镜 杂志》 .2021,第38卷(第2期),第108页右栏第1 段， 第109页右栏第2段-第1 10页右栏第2段. 审查员 谢晶 (54)发明名称 内镜辅助检查系统、 方法、 装置及存 储介质 (57)摘要 本申请涉及一种内镜辅助检查系统、 方法、 装置及存储介质。 所述系统包括： 解剖部位识别 模块， 用于对采集的内镜检查图像进行逐帧识 别， 确定每帧内镜检查图像对应的每个观察点部 位， 并将每个观察点部位分别映射到各预设站点 部位； 关注度记录模块， 用于根据记录的所述解 剖部位识别模块确定的各个观察点部位的观察 时间和各个站点部位的观察完整度， 确定站点部 位观测序列； 引导模块， 用于根据所述解剖部位 识别模块确定的当前帧内镜检查图像对应的当 前站点部位、 所述站点部位观测序列以及所述当 前站点部位的预设物理深度， 确定待转移到的目 标站点； 根据所述当前站点部位和所述目标站 点， 引导内镜检查。 本申请引导内镜检查医师按 照最有效率的路线 进行运镜 。 权利要求书3页 说明书11页 附图3页 CN 114913173 B 2022.10.04 CN 114913173 B 1.一种内镜 辅助检查系统， 其特 征在于， 所述内镜 辅助检查系统包括： 解剖部位识别模块， 用于对采集的内镜检查图像进行逐帧识别， 确定每帧内镜检查图 像对应的每 个观察点部位， 并将每 个观察点部位分别映射到各 预设站点部位； 关注度记录模块， 用于根据记录的所述解剖部位识别模块确定的各个观察点部位的观 察时间和各个站点部位的观察完整度， 确定站点部位观测序列； 引导模块， 用于根据 所述解剖部位识别模块确定的当前帧内镜检查图像对应的当前站 点部位、 所述站点部位观测序列以及所述当前站点部位的预设物理深度， 确定待转移到的 目标站点； 根据所述当前站点部位和所述目标站点， 引导内镜检查； 所述关注度记录模块包括 时间记录单元； 所述引导模块包括引导概率预测单元和引导 提示单元； 所述时间记录单元， 用于记录解剖部位识别模块确定的逐帧的站点部位的观察完整度 及观察点部位的观察时间， 根据各个观察点部位的观察时间和各个站点部位的观察完整 度， 确定站点部位观测序列； 所述引导概率预测单元， 用于根据所述当前站点部位、 所述站点部位观测序列以及所 述当前站点部位的预设物理深度， 确定站点部位转移概率矩阵； 将所述站点部位转移概率 矩阵内极大值确定为所述目标站点； 所述引导提示单元， 用于当判定所述目标站点与所述当前站点部位不同时， 在预设的 消化道UI界面上， 绘制所述当前站点和所述目标站点之间的站点引导线； 当判定所述目标 站点与所述当前站 点部位相同时， 根据所述引导概率预测单元确定的待转移到的目标观察 点部位的预设观察方位， 提 示内镜检查的标准 运镜动作。 2.根据权利要求1所述的内镜辅助检查系统， 其特征在于， 所述引导概率预测单元， 还 用于通过第一目标函数确定站点部位转移概率， 通过第二目标函数确定根据所述当前站 点 部位的观察时间和所述当前站点的观察部位 集合， 确定所述目标观察 点部位； 所述第一目标函数为： 其中， 表示转移到目标站点 的概率； 表示目标站点 的观察完整度； 表 示目标站点 的物理深度； 表示站点部位 的物理深度； 为任意常数； 所述第二目标函数为： 其中， 表示待转移到目标观察点部位 的概率； 表示目标观察点部位 的观 察时间； 为目标观察点部位 的最优观察时间； 表示站点部位 所对应的目标观 察点部位集合。 3.根据权利要求1所述的内镜辅助检查系统， 其特征在于， 所述关注度记录模块还包括 热力图显示单 元；权　利　要　求　书 1/3 页 2 CN 114913173 B 2所述时间记录单元， 用于记录解剖部位识别模块确定的逐帧的站点部位的观察完整度 及观察点部位的观察时间， 根据各个观察点部位的观察时间和各个站点部位的观察完整 度， 确定观察 点部位观测序列； 所述热力图显示单元， 用于通过热力图形式在所述消化道UI界面显示所述观察点部位 观测序列。 4.根据权利要求1所述的内镜辅助检查系统， 其特征在于， 所述内镜辅助检查系统还包 括监测模块； 所述 监测模块包括 运镜操作识别单 元和偏离预警单 元； 所述运镜操作识别单 元， 用于识别当前运镜动作； 所述偏离预警单元， 用于当判定当前运镜动作与所述标准运镜动作不一致时， 在所述 消化道UI界面进行提 示。 5.根据权利要求1 ‑3中任意一项所述的内镜辅助检查系统， 其特征在于， 所述解剖部位 识别模块包括模型训练单 元、 识别单 元和解剖部位映射单 元； 所述模型训练单元， 用于根据空间分组结构的卷积层、 自注意力网络层、 全连接层以及 预测层构建网络结构， 将预先标注的样本图片作为所述网络结构的输入信息进行训练， 获 得神经网络多标签识别模型； 所述识别单元， 用于通过所述模型训练单元训练 的神经网络多标签识别模型对采集的 内镜检查图像进行 逐帧识别， 确定每帧内镜检查图像对应的每 个观察点部位； 所述解剖部位映射单元， 用于根据预先设置的观察点部位和站点部位的映射关系， 将 每个观察点部位分别映射到各 预设站点部位。 6.根据权利要求5所述的内镜辅助检查系统， 其特征在于， 所述模型训练单元， 具体用 于通过所述空间分组结构的卷积层 对输入的样本图片进行维度变换及特征提取， 输出特征 向量 ； 通过第一组自注意力网络层， 对特征向量 进行自注意力加权， 得到特征向量 ； 通 过第二组自注意力网络层， 对特征向量 与特征向量 联合进行自注意力加权， 得到特 征向量 ； 通过所述全连接层对特 征向量 及特征向量 进行线性投影， 得到一维特 征向量 ； 根据所述一维特征向量 ， 通过所述预测层， 利用对预设的每个类别分别求导， 得到多 标签识别概 率； 并根据预先标注好的多标签结果， 利用损失函数进行计算， 得到损失值后， 利用反向传 播更新模型参数； 在达到预设轮数或损失值小于预设值停止， 得到神经网络多标签识别模 型。 7.一种内镜 辅助检查方法， 其特 征在于， 所述内镜 辅助检查方法包括： 对采集的内镜检查图像进行逐帧识别， 确定每帧内镜检查图像对应的每个观察点部 位， 并将每 个观察点部位分别映射到各 预设站点部位； 根据记录的各个观察点部位的观察 时间和各个站点部位的观察完整度， 确定站点部位 观测序列；权　利　要　求　书 2/3 页 3 CN 114913173 B 3