(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211098727.9 (22)申请日 2022.09.09 (71)申请人 中国医学 科学院北京协和医院 地址 100730 北京市东城区王府井帅府园1 号 申请人 清华大学 (72)发明人 吴斌　吴及　高键东　吴韵阳　 徐楷文　王培培　 (74)专利代理 机构 北京万思博知识产权代理有 限公司 1 1694 专利代理师 秦贺余 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) A61B 1/00(2006.01) A61B 1/313(2006.01) A61B 90/00(2016.01) (54)发明名称 用于腹腔镜结直肠癌手术的神经智能辅助 识别系统 (57)摘要 本申请公开了一种用于腹腔镜结直肠癌手 术的神经智能辅助识别系统， 涉及人工智能领 域。 神经智 能辅助识别系统与腹腔镜系统连接， 包括： 视频信号转换模块， 用于将腹腔镜系统形 成的电信号转换为视频信号； 视频图像帧抽取模 块， 用于从视频信号获得图像帧， 并将当前图像 帧与缓存内的前序N张图像帧组成图像序列； 识 别模型计算处理模块， 用于利用识别模型根据图 像序列得到当前图像帧中的相关神经的检测框 表示； 以及显示模块， 用于显示图像帧， 并将识别 模型输出的结果显示在当前显示的图像帧上。 从 而， 达到了提高医生在手术过程中对于神经的注 意力程度， 以期降低术中神经损伤的发生风险的 技术效果。 权利要求书4页 说明书10页 附图4页 CN 115187596 A 2022.10.14 CN 115187596 A 1.一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统， 所述神经智能辅助识别系 统与腹腔镜系统连接， 包括： 视频信号 转换模块， 用于将所述腹腔镜系统形成的电信号 转换为视频信号； 视频图像帧抽取模块， 用于从所述视频信号获得图像帧， 并将当前图像帧与缓存内的 前序N张图像帧组成图像序列； 识别模型计算处理模块， 用于利用识别模型根据 所述图像序列得到当前图像帧中的相 关神经的检测框的检测框表示； 以及 显示模块， 用于显示图像帧， 并将所述识别模型输出的结果显示在当前显示的图像帧 上。 2.如权利要求1所述的系统， 其特征在于， 还包括： 交互触发模块， 用于选择是否触发所 述神经智能辅助识别系统。 3.如权利要求1所述的系统， 其特征在于： 所述识别模型包括手术阶段识别模型和目标 检测模型， 其中所述手术阶段识别模型用于识别当前图像 帧所属的手术 阶段， 所述 目标检 测模型用于根据所述手术 阶段识别模型的识别结果自适应选择针对所述的手术 阶段的目 标检测子模型 得到所述检测框表示。 4.如权利要求3所述的系统， 其特征在于： 所述手术阶段包括从剪开腹膜至解剖肠系膜 下血管前、 从解剖肠系膜下 血管至游离直肠之前和游离直肠这 三个手术阶段， 并且其中 所述目标检测模型基于YOLOv5模型， 并且包括采用不同手术阶段的数据训练得到的对 应于所述 三个手术阶段的目标检测子模型， 并且其中 所述手术阶段识别模型包括： 图像特 征提取单元、 识别分类单 元和后处 理单元。 5.如权利要求 4所述的系统， 其特 征在于： 所述图像特征提取单元的网络参数与所述目标检测模型中的特征提取单元保持一致， 训练时不进行反向梯度传播， 并且所述当前图像帧经所述图像特征提取单元提取后表示为 多个特征图， 作为所述识别分类单 元的输入； 所述识别分类单元采用LSTM序列处理模型或树模型根据多维特征向量确定所述当前 图像帧所属的手术阶段； 并且 所述后处理单元采用以下方法进行后处理， 并将后处理 的分类结果作为所述当前图像 帧最终的手术 阶段识别结果： 在未识别出所述当前图像 帧的手术 阶段的情况下， 将所述当 前图像帧前序的图像帧的手术阶段识别结果作为所述当前图像帧的手术阶段识别结果； 以 及采用滑动窗口消除所述图像序列中各个图像帧的手术阶段识别结果的波动， 并根据实际 情况调整所述滑动窗口 的大小。 6.如权利要求3所述的系统， 其特 征在于， 所述目标检测模型配置用于： 根据所述手术阶段识别结果， 自适应选择相应的目标检测子模型， 从而获得所述当前 图像帧上相关神经的检测框表示， 所述识别模型的表达式如下 所示： 权　利　要　求　书 1/4 页 2 CN 115187596 A 2其中 是与手术阶段 i对应的目标检测子模型 i的函数， 当输入图片x时， 用 于表示所述当前图像帧中相关神经的检测框坐标， 为与不同的手术阶段对应的阶段系 数， 当识别图像所属的手术阶段为第i个 手术阶段时， 。 7.如权利要求1所述的系统， 其特征在于： 所述识别模型计算处理模块还配置用于利用 所述图像序列中目标的连续性变化特点， 对所述当前图像 帧的目标检测的结果进行修正， 并且其中， 所述 修正的修正算法包括： 建立链接： 针对所述图像序列的各个图像帧中的检测框建立链接， 其中所述链接包含 所述各个图像帧中与指定图像帧中的检测框最佳匹配的检测框； 检测框重估： 修正所述链接内的检测框的检测框表示； 以及 平滑补充： 针对所述图像序列中未检测出检测框的图像帧， 将前序帧的检测框的检测 框表示作为所述未检测出检测框的图像帧的检测框表示。 8.如权利要求7 所述的系统， 其特 征在于， 所述链接建立包括： 通过目标追踪算法或相似性度量方法建立所述图像序列中关联目 标的链接， 其中所述相似性度量包括以下三个维度的相 似性度量： IOU阈值筛选、 语义相似 性度量和形状相似性度量， 其中所述形状相似性度量包括所述图像序列中检测框的尺度以 及位置的度量， 以及 所述修正算法还包括在建立所述链接后， 删除未纳入所述链接的检测框， 并且其中 所述链接建立的过程如下 所示： 对于i时刻图像帧的第 个选框 ， 在相邻图像帧 中选择最佳匹配的第 个 选框， 其中选择 过程如下： 其中 ,  为根据实际情况设置的IOU阈值； 函数s()和l()分别为语义相似性度量和形状相似性度量， 表示图像帧 中的第 个检测框， 是与检测框 对应的特征， 是与检测框 对应的特征， 并且 在所述语义相似性 为余弦相似度的情况 下， 所述语义相似度根据如下公式计算： 其中R为与 和 对应的特征图区域在二维平面内的坐标的集合， p为与 和权　利　要　求　书 2/4 页 3 CN 115187596 A 3