(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211045876.9 (22)申请日 2022.08.30 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 杨战波　黄泽元　蒋召　祁晓婷　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 陈美君 (51)Int.Cl. G06V 40/16(2022.01) G06N 20/00(2019.01) G06T 17/00(2006.01) G06V 10/774(2022.01) (54)发明名称 人脸建档算法评估方法及质 量建模算法评 估方法 (57)摘要 本公开提供一种人脸建档算法评估方法及 质量建模算法评估方法。 该方法包括： 利用人脸 建档算法对原始数据集中的人脸图像样本进行 建档， 得到每个人脸图像样本对应的样本标识、 簇以及簇的主标识； 基于样 本标识、 簇、 簇的主标 识以及预先定义的簇类型和标识 类型， 对人脸建 档算法的预测结果进行统计， 得到预定的用于生 成评估指令的标识数和簇数； 基于标识数和簇 数， 对预设的评估指标进行计算， 根据评估指标 的计算结果对 人脸建档算法进行评估。 本公开能 够通过基于标识数和簇数的多种评估指标对人 脸建档算法进行全面评估， 能够准确评价人脸建 档算法的性能优劣， 提升人脸建档算法的评估效 果。 权利要求书2页 说明书10页 附图3页 CN 115359540 A 2022.11.18 CN 115359540 A 1.一种人脸建档算法评估方法， 其特 征在于， 包括： 利用人脸建档算法对原始数据集中的人脸图像样本进行建档， 得到每个人脸图像样本 对应的样本标识、 簇以及簇的主标识； 基于所述样本标识、 簇、 簇的主标识以及预先定义的簇类型和标识类型， 对所述人脸建 档算法的预测结果进行统计， 得到预定的用于生成评估指令的标识数和簇数； 基于所述标识数和簇数， 对预设的评估指标进行计算， 根据所述评估指标的计算结果 对所述人脸建档算法进行评估。 2.根据权利要求1所述的方法， 其特征在于， 所述利用人脸建档算法对原始数据集中的 人脸图像样本进行建档， 包括： 确定待评估的人脸建档算法， 并获取真实场景下的原始数据集， 利用所述人脸建档算 法对所述原始数据集中的人脸图像样本进行建档， 得到每个所述人脸图像样本对应的簇， 并根据所述簇建立人脸图像档案； 其中， 所述原始数据集中包含具有标签的人脸图像样本和/或不具有标签的人脸图像 样本， 所述 不具有标签的人脸图像样本为弱标签数据。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述人脸建档算法的预测结果进行 统计， 得到预定的用于生成评估指令的标识数和簇数， 包括： 基于所述人脸建档算法对应的预测结果， 利用预先定义好的簇类型和标识类型对所述 预测结果进行统计， 得到用于生成评估指令的标识数和簇数； 其中， 所述标识数包括原始数据集对应的总标识数、 预测正确标识数、 预测纯净标识 数、 预测分裂标识数以及预测漏档标识数， 所述簇数包括预测纯 净簇数和总预测簇数。 4.根据权利要求3所述的方法， 其特征在于， 所述评估指标包括建档准确率、 标识纯度、 簇纯度、 建档分裂率和建档召回率， 所述基于所述标识数和簇数， 对 预设的评估指标进行计 算， 包括： 将所述预测正确标识数与 所述总标识数之间的比值作为所述建档准确率， 将所述预测 纯净标识数与所述总标识数之 间的比值作为所述标识纯度， 将所述预测纯净簇数与所述总 预测簇数之 间的比值作为所述簇纯度， 将所述预测分裂标识数与所述总标识数之 间的比值 作为所述建档分裂率， 将所述预测漏档标识数与所述总标识数之 间的比值作为所述建档召 回率。 5.一种质量建模算法评估方法， 其特 征在于， 包括： 利用人脸建档算法对原始数据集中的人脸图像样本进行建档， 并对所述人脸建档算法 对应的评估指标进行计算， 得到第一评估指标计算结果； 利用质量建模算法对所述原始数据集中的每个人脸图像样本进行排序， 并根据排序 结 果从所述原 始数据集中抽取一部分人脸图像样本组成新的数据集； 利用所述人脸建档算法对所述新的数据集中的人脸图像样本进行建档， 并对所述人脸 建档算法对应的评估指标进行计算， 得到第二评估指标计算结果； 基于所述第 一评估指标计算结果以及所述第 二评估指标计算结果， 对所述质量建模算 法进行评估； 其中， 所述对所述人脸建档算法对应的评估指标进行计算， 包括： 基于建档后得到的每个人脸图像样本对应的样本标识、 簇以及簇的主标识， 结合预先权　利　要　求　书 1/2 页 2 CN 115359540 A 2定义的簇类型和标识类型， 对所述人脸建档算法的预测结果进行统计， 得到预定的用于生 成评估指令的标识数和簇数； 基于所述标识数和簇数， 对所述评估指标进行计算。 6.根据权利要求5所述的方法， 其特征在于， 所述利用质量建模算法对所述原始数据集 中的每个人脸图像样本进行排序， 包括： 利用所述质量建模算法对所述原始数据集中的每个人脸图像样本计算质量分， 按照从 高到低的方式， 基于所述质量分对所述人脸图像样本进行排序。 7.根据权利要求5所述的方法， 其特征在于， 所述根据排序 结果从所述原始数据集中抽 取一部分人脸图像样本组成新的数据集， 包括： 按照预设的比例， 从所述排序结果中去 除质量分靠后的人脸图像样本， 并将剩余的人 脸图像样本组成一个新的数据集； 或者， 按照预设的质量阈值， 将大于所述质量阈值的质量分对应的人脸图像样本放入 所述新的数据集中。 8.根据权利要求5所述的方法， 其特征在于， 所述基于所述第 一评估指标计算结果以及 所述第二评估指标计算结果， 对所述质量建模算法进行评估， 包括： 确定所述第二评估指标计算结果中的指标与所述第一评估指标计算结果中的指标之 间的差值， 将所述差值作为指标变化量， 利用所述指标变化量对所述质量建模算法进行评 估。 9.一种人脸建档算法评估 装置， 其特 征在于， 包括： 建档模块， 被配置为利用人脸建档算法对原始数据集中的人脸图像样本进行建档， 得 到每个人脸图像样本对应的样本标识、 簇以及簇的主标识； 统计模块， 被配置为基于所述样本标识、 簇、 簇的主标识以及预先定义的簇类型和标识 类型， 对所述人脸建档算法的预测结果进行统计， 得到预定的用于生成评估指令的标识数 和簇数； 评估模块， 被配置为基于所述标识数和簇数， 对预设的评估指标进行计算， 根据 所述评 估指标的计算结果对所述人脸建档算法进行评估。 10.一种质量建模算法评估 装置， 其特 征在于， 包括： 第一计算模块， 被配置为利用人脸建档算法对原始数据集中的人脸图像样本进行建 档， 并对所述人脸建档算法对应的评估指标进行计算， 得到第一评估指标计算结果； 排序模块， 被配置为利用质量建模算法对所述原始数据集中的每个人脸图像样本进行 排序， 并根据排序结果从所述原 始数据集中抽取一部分人脸图像样本组成新的数据集； 第二计算模块， 被配置为利用所述人脸建档算法对所述新的数据集中的人脸图像样本 进行建档， 并对所述人脸建档算法对应的评估指标进行计算， 得到第二评估指标计算结果； 评估模块， 被配置为基于所述第一评估指标计算结果以及所述第二评估指标计算结 果， 对所述质量建模算法进行评估； 其中， 所述第 一计算模块以及所述第 二计算模块还用于基于建档后得到的每个人脸图 像样本对应的样 本标识、 簇以及簇的主标识， 结合预先定义的簇类型和标识类型， 对所述人 脸建档算法的预测结果进行统计， 得到预定的用于生成评估指令的标识数和簇数； 基于所 述标识数和簇数， 对所述评估指标进行计算。权　利　要　求　书 2/2 页 3 CN 115359540 A 3