(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210930933.5 (22)申请日 2022.08.04 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 (72)发明人 洪伟　董迪锴　 (74)专利代理 机构 吉林省中玖专利代理有限公 司 22219 专利代理师 李泉宏 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/10(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种编码器-解码器网络结构及采用该网路 结构的点云数据分类与分割方法 (57)摘要 本发明公开一种编码 器‑解码器网络结构及 采用该网路结构的点云数据分类与分割方法， 应 用于室内机器人根据小规模点云数据的分类或 分割任务进行智能操作的领域。 本发明在U ‑Net 网络基础上， 基于点云输入数据的特征， 借鉴了 Transformer网络的结构， 设计了针对性更强的 编码器模块， 主要包括位置嵌入和特征提取两个 子模块。 位置嵌入子模块中， 设计了一个多层感 知机， 描述相对位置信息的全局交互关系， 并与 绝对位置信息进行矩 阵拼接后作为后续网络输 入。 特征提取子模块中， 低维特征提取时使用一 维卷积操作， 在高维特征提取中设计了多头相对 自注意力机制替代原有的二维卷积操作， 能够有 效地提取交互信息， 更准确地表达点云的局部特 征。 权利要求书5页 说明书13页 附图1页 CN 115186804 A 2022.10.14 CN 115186804 A 1.一种编码器 ‑解码器网络结构， 其特征在于， 其编码器模块中包含位置嵌入子模块和 特征提取子模块， 其中， 位置嵌入子模块中位置嵌入的过程如下： 1)输入点云数据， 计算 点云的空间位置中心以及每 个点相对于中心的位置； 2)通过一个由一层输入层、 两层隐藏层和一层输出层的全连接结构组成的多层感知 机， 将每个点相对于中心的位置作为输入； 3)将多层感知机 输出的结果与步骤1)输入的点云数据进行矩阵拼接， 完成位置嵌入； 特征提取子模块中进一步包括下采样和一维卷积功能模块、 全局二分池化和一维卷积 功能模块以及多个全局二分池化和多头相对自注意力功能模块； 下采样和一维卷积功能模块中使用最远点采样算法对输入数据进行二倍均匀下采样， 然后进行一维卷积 操作； 全局二分池化和一维卷积功能模块中使用全局二分池化进行下采样， 然后进行一维卷 积操作； 全局二分池化和相对自注意力功能模块中使用全局二分池化进行下采样， 然后 通过多 头相对自注意力机制完成特 征提取； 其中， 一维卷积 操作具体步骤如下： 设卷积输入数据为 针对Pcin， 设从i开始的连续h个元 素记为： 针对 基于卷积 操作获得 特征ci的方法如下： 其中， 为卷积核的权 重矩阵， 为偏置项， f( ·)使用ReLU激活函数； 针对Pcin， 利用上述操作， 得到特 征图C， 则有： 选取l个w， 分别针对Pcin进行如上的单步卷积， 得到最终的一维卷积的输出 令h依次选取h1、 h2、 h3， 分别针对Pcin进行如上的卷积得到 进而利 用矩阵拼接， 并进行零 填充后得到联合的卷积输出 多头相对自注意力机制的实现方法如下： 设输入特征为x＝(x1,x2,xi,…,xn)， 多头相对自注意力机制的输出特征为y ＝(y1,y2,yi,…,yn)， 其中， n为特征项个数； 自注意力机制中qu ery， key和valu e的对应矩阵 和 令dq＝ dk＝dv， 则计算公式如下： Qi＝xi·WQ,Ki＝xi·WK,Vi＝xi·WV 其中 为线性矩阵， 通过 学习优化 参数； 自注意力机制通过计算每个输入点与整体输入的相关性程度， 从而突出重点特征， 常权　利　要　求　书 1/5 页 2 CN 115186804 A 2用的自注意力机制定义如下： 为了有效提取交 互信息， 更准确表达点云的局部特 征， 引入相对自注意力机制； 使用多层感知机 计算key任意两个向量Vi和Vj的交互信息， 则有： 使用多层感知机 计算value任意两个向量Ki和Kj的交互信息， 则有： 然后将 和 加入自注意力机制形成相对自注意力机制， 公式如下： 将上述公式简写为 引入可以并行运算的多头相对自注意力 机制， 首先将输入先均分为H组， 每组数据输入 给一个相对自注意力机制， 其中每组query， key和value的对应矩阵 和 令dq′＝dk′＝dv′＝dq/H； 然后多组并行运 算， 得到相应的输出 如下： 最后将每组输出级联构成多头相对自注意力机制的输出， 级联 方法如下： 其中设计可 学习矩阵 来减少因为分块处 理导致信息缺失的损失。 2.根据权利要求1所述的编码器 ‑解码器网络结构， 其特征在于， 该网络结构用于点云 数据分割时， 编码 器模块中还包含一个由多层感知机、 BN和dropout组成的特征整合子模块 和一个相对自注意力模块。 3.根据权利要求1所述的编码器 ‑解码器网络结构， 其特征在于， 该网络结构用于点云 数据分类时， 解码器模块仅包括全局 最大池化子模块和特征整合子模块， 所述的特征整合 子模块由多层感知机、 BN、 dropout组成。权　利　要　求　书 2/5 页 3 CN 115186804 A 3