(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211101012.4 (22)申请日 2022.09.09 (71)申请人 紫东信息科技 （苏州） 有限公司 地址 215000 江苏省苏州市中国(江苏)自 由贸易试验区苏州片区苏州工业园区 金鸡湖大道88号人工智能产业园E3- 501 (72)发明人 赖春晓　江海洋　李峰　王镇煜　 张希钢　邱霖　万苹　赵志芳　 何顺辉　李志俭　赖正义　戴捷　 鹿伟民　邵贝　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 王广浩(51)Int.Cl. G16H 50/20(2018.01) G16H 30/00(2018.01) G06F 16/58(2019.01) G06F 16/583(2019.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种小样本胃部肿瘤诊断系统 (57)摘要 本发明公开了一种小样本胃部肿瘤诊断系 统， 本发明将每个病例的主诉文本和多张胃镜图 片同时作为样本的输入， 综合判断是否存在胃部 肿瘤。 为调和不同编码器提取的文本特征和图像 特征间的语义鸿沟， 采用 “预训练‑真实训练 ”式 的二阶段模 型训练方法， 在预训练中可使用大量 无标注的主诉文本 ‑胃镜图像对在模 型上做自监 督的图文匹配任务， 将图像特征 投射到文本特征 所在的向量空间， 缩小图文两种模态间的语义鸿 沟， 提升真实训练模型在真实训练中的性能。 只 需使用少量的标注病例样本进行真实训练模型 训练， 以减少标注病例所需的人力物力。 本发明 使用任务提示模板和预测遮蔽字符的方式完成 分类任务， 以减少模型训练的参数量及其所需的 标注样本的数量。 权利要求书2页 说明书8页 附图1页 CN 115171889 A 2022.10.11 CN 115171889 A 1.一种小样本胃部肿瘤诊断系统， 其特 征在于， 包括： 预训练模型和真实训练模型， 所述预训练模型和真实训练模型均包括文本编码器、 图 像编码器、 全连接层、 模板层、 融合层、 概 率分布输出层、 映射层、 分类层； 所述预训练模型采用无标注的预训练病例样本进行预训练， 训练图像编码器和全连接 层， 所述预训练病例样本包括主诉文本和胃镜图像不匹配的不匹配病例样本， 以及主诉文 本和胃镜图像匹配的匹配病例样本； 所述真实训练模型采用预训练模型训练后的图像编码器和全连接层， 并对文本编码器 和训练后的全连接层进行真实训练； 所述真实训练模型采用标注过的真实训练病例样本进 行真实训练， 所述真实训练病例样本为主诉文本和胃镜图像匹配的匹配病例样本； 所述文本编码器用于生成主诉文本浅层特征序列集合； 所述图像编码器用于获取胃镜 图像的图像特征序列集合； 所述全连接层用于重塑图像特征序列的维度得到与主诉文本浅 层特征相同维度的图像特征序列集合； 所述模板层用于构 造包含可学习遮蔽字符的任务提 示模板， 并将所述主诉文本浅层特征序列集合和图像特征序列集合输入所述任务提示模 板， 得到病例样本的任务提示； 所述融合层用于构建位置 向量并与所述任务提示模板相加 后输入所述文本编码器， 得到包含主诉文本特征和多张胃镜图像特征 的多模态特征； 所述 概率分布输出层用于选取多模态特征中遮蔽字符的特征， 并得到遮蔽字符输出为各字符的 概率分布； 所述映射层用于将标签空间中的每个标签映射至所述文本编码器词汇表中的一个字 符； 所述分类层用于根据映射构造概率分布的子集， 并选取其中概率最高的元素所对应的 标签作为预测分类结果； 其中， 所述预训练病例样本的标签空间为{不匹配， 匹配}， 所述真 实训练病例样本的标签空间为{有胃部肿瘤， 无胃部肿瘤}。 2.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述文本编码器包括嵌 入层， 所述嵌入层用于 接收主诉文本， 并生成主诉文本 浅层特征序列集 合。 3.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述预训练模型和真实 训练模型均包括归一化层， 所述归一化层用于将胃镜图像归一化到统一的色彩空间和维度 尺寸， 并依次输入所述图像编码器， 得到图像特 征集合序列集 合。 4.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述全连接层用于重塑 图像特征序列的维度使图像特征序列变 成二维序列， 以得到与主诉文本浅层特征相同维度 的图像特 征序列集 合。 5.如权利要求4所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述全连接层得到的与 主诉文本 浅层特征相同维度的图像特 征序列集 合为： 其中， ， ； 表示m张胃镜图像中的 第i张胃镜图像； 表示图像编码器获取的图像特征序列集合中的第i张胃镜图像的图像特 征序列； W1和b1分别表示全连接层中可学习的第一权重参数和第一偏置参数； 表示维度重塑。 6.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特 征在于， 所述任务 提示模板为：权　利　要　求　书 1/2 页 2 CN 115171889 A 2[LRN0] [MASK] [LRN1] S’  [LRN2] I’  [SEP] 其中， [MAS K]表示可学习遮蔽字符； [SEP]表示可学习间隔字符； [LRN0]、 [LRN1]、 [LRN2] 表示不同的可学习提示字符； S ’表示主诉文本浅层特征序列槽位； I ’表示图像特征序列槽 位。 7.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述概率分布输出层用 于选取多模态特征中遮蔽字符的特征， 并得到遮蔽字符输出为各字 符的概率分布， 包括： 所 述概率分布输出层用于选取多模态特征中遮蔽字符的特征， 并通过文本编 码器的词汇输出 层和softmax分类 器， 得到遮蔽字符输出为各字符的概 率分布。 8.如权利要求7所述的小样本胃部肿瘤诊断系统， 其特征在于， 遮蔽字符输出为各字符 的概率分布为： 其中， P为遮蔽字符输出为各字符的概率分布； softmax表示softmax分类器的softmax 函数； W2和b2分别表示全连接层中可学习的第二权重参数和第二偏置参数； 表示遮 蔽字符的特 征。 9.如权利要求1所述的小样本胃部肿瘤诊断系统， 其特征在于， 所述预训练模型和真实 训练模型在训练时均采用交叉熵损失函数。权　利　要　求　书 2/2 页 3 CN 115171889 A 3