(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111334705.3 (22)申请日 2021.11.11 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区砚瓦池 正街47号 (72)发明人 蹇松雷　张钰森　谭郁松　黄辰林　 李宝　董攀　丁滟　任怡　王晓川　 张建锋　谭霜　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 代理人 谭武艺 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 多搜索空间自适应的神经网络结构编码表 征方法及系统 (57)摘要 本发明公开了一种多搜索空间自适应的神 经网络结构编码表征方法及系统， 本发明方法包 括提取神经网络结构的内部拓扑结构信息构建 有向无环图DAG， 提取出邻接矩阵Madj和操作向量 Vopt； 检查邻接矩阵Madj和操作向量Vopt的维度， 若 维度不符合要求则对邻接矩阵Madj和操作向量 Vopt进行维度填充处理； 基于邻接矩阵Madj和操作 向量Vopt计算神经网络 结构的编码向量Vnae； 基于 神经网络结构的编码向量Vnae通过预先训练好的 特征提取网络进行神经网络结构的特征提取得 到特征表征ei。 本发明能够同时满足多个搜索空 间的神经网络结构精度预测， 只适应来自不同搜 索空间的神经网络结构， 保证解码器精度的同时 提升重构效率。 权利要求书2页 说明书7页 附图3页 CN 114154618 A 2022.03.08 CN 114154618 A 1.一种多搜索空间自适应的神经网络结构编码表征 方法， 其特 征在于， 包括： 1)提取神经网络结构的内部 拓扑结构信息； 2)基于内部 拓扑结构信息构建神经网络结构的有向无环图DAG； 3)基于神经网络结构的有向无环图DAG， 分别提取 出邻接矩阵Madj和操作向量Vopt； 4)检查邻接矩阵Madj和操作向量Vopt的维度， 若维度符合要求， 则跳转执行下一步； 否则 对邻接矩阵Madj和操作向量Vopt进行维度填充处 理， 跳转执 行步骤4)； 5)基于邻接矩阵Madj和操作向量Vopt计算神经网络结构的编码向量Vnae； 6)基于神经网络结构的编码向量Vnae通过预先训练好的特征提取网络进行神经网络结 构的特征提取， 得到特 征表征ei。 2.根据权利要求1所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 步骤4)中对邻接矩阵Madj和操作向量Vopt进行维度填充处理时， 对邻接矩阵Madj进行维度 填充的步骤包括： 在邻接矩阵Madj的最后一列之前， 填充全零列向量， 直到维度满足要求为 止； 在邻接矩阵Madj的最后一行之前， 填充全零行向量， 直到维度满足要求 为止。 3.根据权利要求1所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 步骤4)中对邻接矩阵Madj和操作向量Vopt进行维度填充处理时， 对操作向量Vopt进行维度 填充的步骤包括： 在操作向量Vopt的最后一个元素之前按位进 行填充， 每一位 都随机填充搜 索空间的一种操作类型的映射 值， 直到维度满足要求 为止。 4.根据权利要求3所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 步骤5)包括： 5.1)针对邻接矩阵Madj的行向量进行遍历， 针对遍历得到的任意第i行， 将邻接矩阵的 行向量Madj[i]和操作向量Vopt进行逐元素乘法得到 然后用得到的新向量 替换邻接矩阵对应的行向量Madj[i]， 最终得到新的邻接矩阵； 5.2)将新的邻接矩阵的上三角部分逐行展开， 即将每行前面的全零元素去除掉， 并将 展开结果按逐 行顺序拼接成一个向量， 这个向量即为神经网络结构的编码向量Vnae。 5.根据权利要求4所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 步骤6)中预先训练好的特征提取网络为卷积神经网络CNN、 长短期记忆网络LSTM或基于 Transformer的特 征提取器。 6.根据权利要求5所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 所述基于Transformer的特征提取器包括 嵌入器和多个特征编码器， 所述 嵌入器和多个 特征编码器依次级联 连接， 且所有特 征编码器的输出最终合并得到特 征表征ei。 7.根据权利要求6所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 步骤6)之后还 包括根据特征表征ei解码重构神经网络结构的步骤。 8.根据权利要求7所述的多搜索空间自适应的神经网络结构编码表征方法， 其特征在 于， 所述根据特征表征ei解码重构神经网络结构的步骤 包括： S1)将特征表征ei解码获得神经网络结构的编码向量Vnae； S2)根据步骤5)中基于邻接矩阵Madj和操作向量Vopt计算神经网络结构的编码向量Vnae 时邻接矩阵上三角矩阵最后一列元素在编码向量Vnae中位置的位置向量Vpos， 检查位置向量 Vpos在解码获得的神经网络结构的编码向量Vnae中对应位置的元素是否为0， 若为0， 说明对权　利　要　求　书 1/2 页 2 CN 114154618 A 2应节点与输出结点之间没有连接 关系， 继续保持0元素不变； 如果不为0， 说明对应节点与输 出结点之间存在连接关系， 且该节点的元素类型一定为输出节点对应的映射值， 于是将该 位置的元 素值强制置为输出节点对应的映射 值； S3)根据位置向量Vpos， 将解码获得的神经网络结构的编码向量Vnae拆分成不同的向量， 并按顺序将拆分之后的向量组合成上三角矩阵， 完成上三角矩阵的重组； S4)逐列分析上三角矩阵列向量的非零元素， 从中提取出操作向量对应位置的元素， 且 原则是所占比例超过设定值的元素为该位置的对应的操作类型； 将上三角矩阵的非零元素 重置为1， 得到了对应的邻接矩阵Madj， 再结合操作向量Vopt， 重构出该神经网络结构对应的 有向无环图DAG； S5)基于有向无环图DAG重构出 该神经网络结构。 9.一种多搜索空间自适应的神经网络结构编码表征系统， 包括相互连接的微处理器和 存储器， 其特征在于， 该微处理器被编程或配置以执行权利要求1～8中任意一项所述的多 搜索空间自适应的神经网络结构编码表征 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质中存储有被编 程或 配置以执行权利要求1～8 中任意一项所述的多搜索空间自适应的神经网络结构编码表征 方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 114154618 A 3