(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111639389.0 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114004973 A (43)申请公布日 2022.02.01 (73)专利权人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 艾国　杨作兴　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 郭万方 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/70(2022.01)G06V 10/774(2022.01) G06N 20/00(2019.01) (56)对比文件 WO 201913 6623 A1,2019.07.18 审查员 易浩民 (54)发明名称 用于图像 语义分割的解码器及其实现方法 (57)摘要 本公开涉及用 于图像语义分割的解码器及 其实现方法。 一种用于图像语义分割的解码器， 其特征在于， 所述解码器初始地由包括下采样变 换过程和上采样变换过程的、 经过预训练的采样 模型中的上采样变换过程实现以进行训练， 其 中： 所述采样模型的输入为表示一个图像的C1个 通道的像素特征， 输出为表示相同图像的C1个通 道的像素特征， 在所述采样模型中， 经由下采样 变换过程将C1个通道的像素特征变换为C2个通 道的采样特征， 并且经由上采样变换过程将C2个 通道的采样特征变换为C1个通道的像素特征， 所 述C2个通道的采样特征的分辨率H2×W2小于所述 C1个通道的像素特征的分辨率H1×W1， 所述采样 特征的通道数C2大于所述像素 特征的通道数C1。 权利要求书3页 说明书14页 附图5页 CN 114004973 B 2022.12.27 CN 114004973 B 1.一种用于 图像语义分割的解码器， 其特征在于， 所述解码器初始地由包括下采样变 换过程和上采样 变换过程的、 经过自监督预训练的采样模型中的上采样 变换过程 实现以进 行训练， 其中： 所述采样模型的输入为表示一个图像的C1个通道的像素特征， 输出为表示相同图像的 C1个通道的像素 特征， 其中， 对所述采样模型进行 预训练时只需要未 经标注的图像； 在所述采样模型中， 经由下采样变换过程将C1个通道的像素特征变换为C2个通道的采 样特征， 并且经由上采样变换过程将C2个通道的采样特征变换为C1个通道的像素特征， 所述 C2个通道的采样特征的分辨率H2×W2小于所述C1个通道的像素特征的分辨率H1×W1， 所述采 样特征的通道数C2大于所述像素 特征的通道数C1； 采样模型的下采样变换过程和上采样变换过程中分别包括待确定的可变参数， 这些可 变参数在对 采样模型进行 预训练的过程中确定； 将经预训练的采样模型的上采样变换过程初始地用作解码器之后， 基于该初始的解码 器进行进一 步的训练， 即对其中的可变参数进行进一 步的调整； 下采样变换过程和上采样变换过程具有彼此对称的结构， 并根据解码器所需要的配置 和参数来设计上采样变换 过程的结构， 并据此进一 步设计下采样变换 过程的结构。 2.根据权利要求1所述的解码器， 其特 征在于， 所述下采样变换 过程包括变换矩阵， 所述上采样变换 过程包括变换矩阵， 并且 其中， 变换矩阵包括待确定的数值， 所述待确定的数值在对所述采样模型进行预训练 的过程中确定 。 3.根据权利要求2所述的解码器， 其特 征在于， 所述采样模型的下采样变换过程包括NS层下采样变换， 其中经过第i层下采样变换， 特 征的通道数增大CDSi倍、 分辨率减小kDSi2倍， 并且每一层下采样变换中包括变换矩阵， 所述采样模型的上采样变换过程包括NS层上采样变换， 其中经过第i层上采样变换， 特 征的通道数减小CUSi倍、 分辨率增大kUSi2倍， 并且每一层上采样变换中包括变换矩阵， 其中， NS大于1。 4.根据权利要求3所述的解码器， 其特征在于， 所述下采样变换过程和所述上采样变换 过程的每一层中包括： 向量提取模块， 用于从输入的若干个通道的特 征中提取 出一组向量； 变换矩阵， 用于对提取 出的所述 一组向量中的每一个向量进行线性变换； 以及 向量重排模块， 对于线性变换所得的一组向量中的元素进行重排， 从而得到若干个通 道的特征作为输出。 5.根据权利要求 4所述的解码器， 其特 征在于， 对于大于或等于1且小于或等于NS的任意i， 第i层下采样变换中的变换矩阵为kDSi2× CDSi矩阵， 并且第i层上采样变换中的变换矩阵为CUSi×kUSi2矩阵。 6.根据权利要求3 ‑5中任一项所述的解码器， 其特 征在于， 对于大于或等于1且小于或等于NS的任意i， 所述采样模型被设计为满足CDSi＝ CUS(Ns‑i+1)， kDSi＝kUS(Ns‑i+1)。 7.根据权利要求3 ‑5中任一项所述的解码器， 其特 征在于， 每一层下采样变换的通道数放大倍数CDSi均相同、 分辨 率缩小参数kDSi均相同， 并且权　利　要　求　书 1/3 页 2 CN 114004973 B 2每一层上采样变换的通道数缩小倍数CUSi均相同、 分辨 率放大参数kUSi均相同。 8.根据权利要求3 ‑5中任一项所述的解码器， 其特 征在于， 每一层下采样变换的通道数放大倍数CDSi等于分辨 率缩小参数kDSi的平方， 并且 每一层上采样变换的通道数缩小倍数CUSi等于分辨 率放大参数kUSi的平方。 9.根据权利要求3 ‑5中任一项所述的解码器， 其特 征在于， 每一层下采样变换的分辨率缩小参数kDSi或者每一层上采样变换的分辨率放大参数 kUSi为2或3。 10.根据权利要求1 ‑5中任一项所述的解码器， 其特 征在于， 所述上采样变换 过程被设计为使得 所述解码器输出的解码特 征的通道数CD大于1。 11.根据权利要求7 所述的解码器， 其特 征在于， 所述采样模型中的每一层上采样变换的通道数缩小倍数为CUS； 并且 NS小于以CUS为底数对输入到所述 解码器的编码特 征的通道数CE取对数的计算结果。 12.根据权利要求1 1所述的解码器， 其特 征在于， 当所述计算结果 为整数时， NS等于所述计算结果减1的结果； 当所述计算结果 不为整数时， NS等于对所述计算结果向下 取整的结果。 13.一种用于图像 语义分割的解码器的实现方法， 其特 征在于， 所述方法包括： 构建采样 模型， 其中所述采样 模型的输入 为表示一个图像的C1个通道的像素特征， 输 出 为表示相同图像的C1个通道的像素特征， 在所述采样模型中， 经由下采样变换过程将C1个通 道的像素特征变换为C2个通道的采样特征， 并且经由上采样变换过程将C2个通道的采样特 征变换为C1个通道的像素特征， 所述C2个通道的采样特征的分辨率H2×W2小于所述C1个通道 的像素特征的分辨率H1×W1， 所述采样 特征的通道数C2大于所述像素特征的通道数C1， 其中 下采样变换过程和上采样 变换过程具有彼此对称的结构， 根据解码 器所需要的配置和参数 来设计上采样变换 过程的结构， 并据此进一 步设计下采样变换 过程的结构； 对采样模型进行自监督预训练， 其中， 对所述采样模型进行预训练时只需要未经标注 的图像； 以及 将经自监督预训练的所述采样模型的上采样变换过程作为初始的解码器以进行训练， 其中 采样模型的下采样变换过程和上采样变换过程中分别包括待确定的可变参数， 这些可 变参数在对采样模型进行预训练的过程中确定， 并且这些可变参数在经预训练的采样模型 的上采样变换 过程作为初始的解码器进行训练时被进一 步调整。 14.根据权利要求13所述的方法， 其特 征在于， 所述下采样变换 过程包括变换矩阵， 所述上采样变换 过程包括变换矩阵， 并且 其中， 变换矩阵包括待确定的数值， 所述待确定的数值在对所述采样模型进行预训练 的过程中确定 。 15.根据权利要求14所述的方法， 其特 征在于， 所述采样模型的下采样变换过程包括NS层下采样变换， 其中经过第i层下采样变换， 特 征的通道数增大CDSi倍、 分辨率减小kDSi2倍， 并且每一层下采样变换中包括变换矩阵， 所述采样模型的上采样变换过程包括NS层上采样变换， 其中经过第i层上采样变换， 特 征的通道数减小CUSi倍、 分辨率增大kUSi2倍， 并且每一层上采样变换中包括变换矩阵，权　利　要　求　书 2/3 页 3 CN 114004973 B 3