(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111283267.2 (22)申请日 2021.11.01 (65)同一申请的已公布的文献号 申请公布号 CN 113962322 A (43)申请公布日 2022.01.21 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 陈艳姣　徐文渊　龚雪鸾　李晓媛　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 21/57(2013.01) (56)对比文件 CN 112446025 A,2021.0 3.05 审查员 孙宁 (54)发明名称 基于联邦学习的后门攻击防御方法、 系统及 可存储介质 (57)摘要 本发明公开了一种基于联邦学习的后门攻 击防御方法、 系统及可存储介质， 属于人工智能 技术领域， 通过计算三个特征参数可以精确表征 训练模型更新的数据分布， 神经网络内部结构和 输出的细粒度差异， 从而对中毒模 型实现精准识 别。 同时结合新型聚类模型更新的设计， 本发明 能够消除包含具有高攻击影响的中毒模型的模 型集群。 此外， 基于权重裁剪的防御可 以有效地 减轻可能未被检测到的中毒模型的影 响。 本发明 充分考虑了攻击者的各种攻击手段， 可以减 轻最 先进的后门攻击， 而不影 响模型在良性数据上的 性能， 达到良好的防御效果。 权利要求书4页 说明书11页 附图2页 CN 113962322 B 2022.05.17 CN 113962322 B 1.一种基于联邦学习的后门攻击防御方法， 基于多个客户端， 其特 征在于， 包括： 特征提取： 获取参与联邦学习的n个客户端的局部模型数据， 计算特征参数： 除法差异 DDifs、 归一 化能量更新 NEUP以及余弦距离， 并进行同质性特 征提取； 分类： 计算各个客户端的局部模型超过归一化能量更新NEUP阈值的数量， 并使用其数 量的1/2作为分类边界值， 根据边界值对局部模型中的中毒模型进行 标记； 聚类： 根据计算得到的特征参数： 除法差异DDifs、 归一化能量更新NEUP以及余弦距离， 使用动态聚类算法， 对局部模型进行聚类， 得到集群模型； 中毒簇识别与删除： 根据聚类结果以及标记结果， 计算每个聚类中毒标记模型的百分 比， 根据百分比结果对集群模型进行识别， 根据识别结果保留或删除集群模型； 剪裁： 计算所有保留模型更新的L2范数， 并将其中位数作为剪裁边界， 对集群模型中超 出剪裁边界的局部模型进行缩放； 聚合： 将同一集群模型中所剩余的剪裁模型使用FedAvg进行聚合， 使每个客户端收到 对应的集群聚合的模型； 其中， 所述计算除法差异D Difs的公式为： 式中， DDift,k,i为客户端k在第t轮提交的模型|Wt,k的除法差异DDifs， Nsamples为随机输 入样本sm， 其中， m∈[0,Nsamples‑1]的个数， p(sm|Wt,k)i为局部模型中每个输出层神经元i预 测的概率， p(sm|Gt)i为全局模型|Gt的相应神经 元预测的概 率； 其中， 全局模型 是联邦学习中由局部模型聚合得到的模型； 所述计算归一 化能量更新 NEUP的公式为： 式中， εt,k,i表示客户端k在第t轮提交的模型 的输出层神经元i的能量更新， P表示输出 层神经元与前一层神经元的连接数， bt,k,i是客户端k第t轮的输出层的神经元i的偏置， wt,k,i,p是客户端k第t轮的输出层的神经元i连接到来自前一层的神经元p的权重， 及 是全局模型Gt中神经元的偏置和权 重； 将同一模型的所有输出层神经元的能量更新归一化， 使得各个能量更新不受模型更新 能量总范围的影响， 具体公式如下： 式中， ct,k,i表示归一化后的客户端k在第 t轮提交的模型的输出层神经元i的能量更新， 表示表示 客户端k在第t轮提交的模型的输出层神经 元i的能量更新的平方； 所述计算特 征参数余弦距离的公式为： Ui， t＝wi， t‑wGt权　利　要　求　书 1/4 页 2 CN 113962322 B 2Uj， t＝wj， t‑wGt Ci， j， t＝1‑cos(Ui， t‑Uj， t) 式中， Ci， j， t是客户端i和客户端j在第t轮的余弦距离， Ui， t代表客户端i在第t轮的更新 量， wi， t代表代表客户端i在第t轮的输出层的神经元的偏 置和， wGt表示全局模 型Gt输出层的 神经元的偏置和， Uj， t表示为客户端j在第t轮的更新量， wj， t表示为客户端j在第t轮的输出 层的神经 元的偏置和。 2.根据权利要求1所述的一种基于联邦学习的后门攻击防御 方法， 其特征在于， 所述分 类包括： 计算客户端k在第t轮提交的局部模型的最大归一 化能量更新 NEUP， 公式如下： 式中， P表示该局部模型输出层有神经 元的数量； 定义阈值ξ： ξ ＝0.01·ct,k,max 对超过阈值ξ 的归一 化能量更新 NEUP进行计数， 公式如下： 式中， TEt,k表示客户端k在第t轮提交的局部模型中超过阈值的归一化能量更新NEUP的 数量； 其中， 若ct,k,i超过阈值ξ， 指标函数记为1， 否则指数函数记为0； 将上述计算出的阈值数量的1/2作为分类边界值， 若模型的阈值ξ低于边界值， 则该模 型被标记为中毒模型， 否则即为良性模型。 3.根据权利要求1所述的一种基于联邦学习的后门攻击防御 方法， 其特征在于， 所述对 局部模型进行聚类包括： 定义n个客户端对应的所述局部模型的数量 为N， 输出层神经 元的数量 为P； 根据计算得到 的特征参数： 除法差异DDifs、 归一化能量更新NEUP以及余弦距离， 得到 每个模型维度为P的1个归一化能量更新NEUP向量列表， 3个基于不同种子的除法差异DDifs 向量列表以及维度为 N×N的基于输出层偏置更新 量的余弦距离矩阵； 将得到的距离矩阵作为 参数输入ISODATA算法对局部模型进行聚类。 4.根据权利要求2所述的一种基于联邦学习的后门攻击防御 方法， 其特征在于， 所述根 据识别结果保留和/或删除集群模型包括： 少于阈值的集群模型将被标记为可疑， 集群的所有模型全部保留， 否则， 该集群的所有 模型全部将被删除。 5.根据权利要求1所述的一种基于联邦学习的后门攻击防御 方法， 其特征在于， 所述计 算保留的集群模型更新的L2范数， 并将其中位数作为剪裁边界， 对集群模型中超出剪裁边 界的局部模型进行缩放， 具体如下： 所述剪裁包括： 使用所有更新的L2范数的中值作为动态的剪裁边界S， 若更新的L2范数 高于剪裁边界S， 则对应的更新 根据如下公式进行缩放：权　利　要　求　书 2/4 页 3 CN 113962322 B 3