(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221026480 0.9 (22)申请日 2022.03.17 (71)申请人 北方工业大 学 地址 100144 北京市石景山区晋元庄路5号 北方工业大 学 (72)发明人 张晓平　杨天航　王力　刘翼豪　 李凯　吴宜通　孟祥鹏　郑远鹏　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 30/244(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于动态前馈神经网络结构和成长率 函数的手写数字识别方法 (57)摘要 本发明涉及一种基于动态前馈神经网络结 构和成长率函数的手写数字识别方法， 包括： 训 练初始化小规模的神经网络， 暂停训练对神经网 络的性能进行阶段性测试； 基于性能指标计算得 出成长率， 通过成长率计算在恢复训练时需要增 长的网络规模； 基于网络性能测试结果， 筛选需 要分裂和删减的神经元； 对于被分裂的神经元， 通过调整权重值保持网络输出不变； 对于被删减 的冗余神经元， 对相邻神经元的输出进行补偿； 判断网络增长是否成熟， 当网络增长到合适的规 模时停止增长， 输出当前网络， 从而得到在应用 前馈神经网络对手写数字进行分类时较为合适 的网络结构及参数： 避免网络规模 过小时引起的 欠拟合， 以及网络规模过大引起的过拟合， 降低 运算时间和计算成本 。 权利要求书2页 说明书5页 附图3页 CN 114596567 A 2022.06.07 CN 114596567 A 1.一种基于动态前馈神经网络结构和成长率函数的手写数字识别方法， 其特征在于， 包括： (1)获取手写数字图像的数据集， 并对图片进行数据预处理： 灰度化处理， 转换为张量 并做归一 化； (2)使用数据集训练初始化小规模的神经网络， 暂停训练对神经网络的性能进行阶段 性测试； (3)基于性能指标计算得出成长率， 通过成长率计算在恢复训练时需要增长的网络规 模； (4)基于网络性能测试 结果， 筛选需要删减和分裂的神经 元； (5)对于被分裂的神经 元， 通过调整权 重值保持网络 输出不变； (6)对于被删减的冗余神经 元， 对相邻神经 元的输出进行补偿； (7)神经网络停止成长条件： 判断网络成长是否成熟， 当网络增长到合适的规模时停止 增长， 输出当前网络 。 2.据权利要求1所述的基于动态前馈神经网络结构和成长率函数的手写数字识别方 法， 其特征在于： 所使用的网络结构为三层前馈神经网络， 包括： 输入层、 隐藏层、 输出层； 训练开始时， 初始化的小规模神经网络的各层节 点数量分别为： 784个， 1个和10个； 所使用的 隐藏层激活 函数为RReLU。 3.根据权利要求1所述的基于动态前馈神经网络结构和成长率函数的手写数字识别方 法， 其特征在于， 步骤(3)中成长率 函数设计： a,b为常数， λlθl为神经网络的成长因子， θl为第l个包含有能反映神经网络性能的指标 的计算式， λl为第l个包 含有性能指标的计算式的权 重， 其中， a＝12,b＝0.7, θ1＝1‑Accr, λ1＝1， λ2＝10,r＝1,2,...,l＝ 1,2。 Accr为第r+1次神经网络成长前网络 在完成阶段性训练后的识别率， lossr为第r+1次神经网络成长前网络网络在完成阶段性训 练后的损失误差 。 4.根据权利要求3所述的基于动态前馈神经网络结构和成长率函数的手写数字识别方 法， 其特征在于， 步骤(4)所述筛 选需要删减和 增加的神经 元方法， 包括： 将神经元分别按在阶段性训练中和暂停训练时在测试集中的活性p， 分别由大到小排序， 筛 选出在测试 集和训练集中活性排序在后的需要删除 的神经元， 其中 uj(t)代表第j个隐藏层神经 元在第t时刻的输出， n ＝1,2,...； 每次增长时增加的隐藏层神经元个 数为： <gr·hr>， 增加的神经元个 数按顺序分裂在阶 段性训练过程中活性较强的神经 元； 增加后的隐藏层神经 元个数为： hr+1＝hr+<gr·hr> 其中， hr为第r+1次神经网络成长前， 删除掉隐藏层活性差的神经元后剩余个数， hr+1为权　利　要　求　书 1/2 页 2 CN 114596567 A 2成长后进入下一阶段性训练时， 隐藏层神经 元个数， <x>代 表四舍五入取整。 5.根据权利要求1所述的基于动态前馈神经网络结构和成长率函数的手写数字识别方 法， 其特征在于， 步骤(7)所述神经网络停止成长条件： 判断网络成长是否成熟， 当阶段性训练结束后， 需要增长的神经元数量<gr ·hr>＝0， 且 无需要删减的神经 元时， 则代 表着神经网络的成长成熟， 停止增长 。权　利　要　求　书 2/2 页 3 CN 114596567 A 3