(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639661.5 (22)申请日 2021.12.2 9 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 宋明黎　谢东霖　余若男　方共凡　 宋杰　冯尊磊　高艺　董玮　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 代理人 王兵　楼明阳 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种面向智能安防的视觉深度模型知识重 组方法 (57)摘要 一种面向智能安防的视觉深度模型知识重 组方法， 首先， 收集安防边缘测的视觉数据， 明确 模型任务， 收集数据进行标注， 训练目标任务模 型。 然后， 利用归因图计算目标模型和不同预训 练模型之间的可迁移分数， 将归一化的可迁移分 数作为模型选择的概率， 可放回地采样形成模型 集合； 在联邦学习范式的基础上， 将目标模型分 发到不同的节 点， 利用表征蒸馏迁移预训练模型 的特征提取能力， 在目标模型学习和迁移完成 后， 通过平均的方式在中心节点进行知识重组， 重组过后的模型再次分发到选择的模型节点进 一步迭代。 最后， 再利用目标数据集进行微调目 标模型， 从而学习得到一个在智能安防领域的目 标任务上表现良好的视觉深度模 型， 并且保护了 数据隐私和模型隐私。 权利要求书2页 说明书5页 附图3页 CN 114330554 A 2022.04.12 CN 114330554 A 1.一种面向智能安防的视 觉深度模型知识重组方法， 包 含如下步骤： 步骤1： 收集与训练智能安防数据； 首先收集安防边缘测的视觉数据， 明确具体的模型任务， 为收集的小部分数据进行标 注标注后的数据作为目标任务数据集DT， 其中包含了M个数据样本以及标签； 由于安防设备 所处的环境以及昂贵的标注成本， 安防设备收集的数据是不充分的， 因而直接利用该部分 数据训练学习难以获得一个表现良好的深度模型； 为了让安防的深度模型拥有足够的关于 目标任务的知识， 首 先需要利用收集的目标任务数据集训练目标任务模型； 步骤2： 选择模型知识； 预训练模型{M1， M2， ...， MN}是在不同训练数据和不同的任务上训练的， 因而预训练模 型包含了不同领域的知识； 并且预训练模型以及数据存放在不同的节点上； 对于智能安防 具体的目标任务模型而言， 不同的预训练模型 的知识的可迁移性是不同的； 可迁移性更好 的预训练模型知识对于目标任务更有帮助； 为了从若干预训练模型中选择合适的模型， 首 先计算不同模型在目标数据集上的归因图 其中 表 示第n个模型第k层对于第j个输入的归因图， 归因图是计算特定输入的反向传播梯度得到 的， 归因图反映了模 型对于输入的注 意力区域； 因而， 不同模 型之间归因图的距离能作为一 种模型知识可迁移性的度量； 利用目标 数据集计算 不同模型之间的可迁移性距离如下： 其中， 表示计算余弦相似性； 在计算得到目标模型和预训练模型之 间的归因图距离之后， 模型之间的可迁移分数 可以基于归因图距离计算得到； 将可迁移分数归一化为一个离散的概率分布{P1， P2， ...， PN}， 概率值表示选择某一个 预训练模型的概率； 将根据概率分布{P1， P2， ...， PN}有放回地采样k个模型， 形成一个模型 集合SM； 这一模型集 合将用于后续的联邦知识重组中； 步骤3： 重组联邦知识； 在不直接接触预训练模型和数据集的条件下， 为了将模型集合SM的知识重组到目标模 型， 按照过程是否发生在预训练模型 的边缘节点上， 将联邦知识重组划分为本地知识重组 和中心知识重组两个阶段； 两个阶段的划分可以避免对预训练模型 的直接接触， 进而保护 了预训练模型和数据的隐私； 首先， 将目标模型Mt的参数 复制到预训练模型Mn所在的节点； 深度模型能划分为编码 器部分和 解码器部分， 编码器将原始输入编码到特征空间的向量， 特征提取部分是与任务 无关的， 具有良好的泛化性； 而解码 器将特征 空间的向量解码成与任务相关的输出； 在本地 重组的过程中， 迫使目标模型 的特征输出和预训练的特征输出保持一致， 目标模型 的副本 将学习到预训练模型的特征提取能力； 由于预训练模型Mn和目标模型Mt的网络结构可能是 异构的， 目标模型和本地预训练模型 的输出特征可能存在输出维度的差异， 因而利用3个1 ×1的卷积操作对齐不同模型的特 征输出维度； 本地重组过程中损失计算如下： 权　利　要　求　书 1/2 页 2 CN 114330554 A 2其中， X表示预训练模型Mn的训练数据集， 表示预训练模型Mn的参数， 表示本地目 标模型的参数， 而 分别表示预训练模型和目标模型对齐过后的特征输出； 本地重组过 程将依据损失更新本地目标模型的参数： 其中， ηt表示本地重组的学习率； 在本地知识重组完成以后， 本地目标模型的参数 会被上传到中心节点； 中心节点在 收集到不同节点的目标模型参数以后， 将会进行中心节点的知识重组， 目标模型 的参数更 新如下： 在中心节点的知识 的重组完成以后， 将会再次进行知识 的选择和本地知识 的重组； 在 迭代的学习过程中， 目标模型将会从多个预训练模型中筛选和学习到可迁移的教师的表征 提取能力； 步骤4： 智能安防任务 适应； 考虑深度学习模型的拓扑结构特点， 在知识重组阶段收敛完成以后， 将继续在智能安 防的目标任务数据集上进 行训练， 以获得更多与目标任务相关的知识； 具体来说， 利用目标 数据集对目标模型的解码器部分进行训练， 目标模型将学习到特征映射到目标标签的能 力， 在智能安防的模型任务上获得良好的表现。 2.如权利要求1所述的面向边缘侧的视觉深度模型知识重组方法， 其特征在于： 步骤1 所述的安防边 缘测是摄 像头， 所述的模型任务是 行人重识别。权　利　要　求　书 2/2 页 3 CN 114330554 A 3