(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111326193.6 (22)申请日 2021.11.10 (71)申请人 联想 （北京） 有限公司 地址 100085 北京市海淀区上地西路6号2 幢2层201- H2-6 (72)发明人 李耀满　王伟啸　方菲　 (74)专利代理 机构 北京金信知识产权代理有限 公司 11225 代理人 喻嵘 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 模型的解释方法及装置 (57)摘要 本公开涉及一种模型的解释方法及装置， 该 方法包括： 基于第一类参数特征确定待解释模型 为第一模型； 获取所述第一模型对应的输入数 据； 基于所述输入数据对所述第一模型进行分 析， 得到用于对 所述第一模型进行解释的第一可 解释性方案， 其中， 所述第一可解释性方案的解 释参数至少基于所述第一模型的模 型属性确定； 利用所述第一可解释性方案对所述第一模型进 行解释， 得到解释结果； 基于 所述解释结果， 确定 所述第一模型的解释相关度， 其中， 所述解释相 关度用于表征所述解释参数对所述第一模型的 解释效果。 本公开能够自动生 成模型的可解释性 方案， 使复杂的机器学习模型白盒化， 且可以基 于解释结果对模型参数进行调整、 优化， 提高模 型的透明度和可信度。 权利要求书2页 说明书15页 附图4页 CN 114048862 A 2022.02.15 CN 114048862 A 1.一种模型的解释方法， 包括， 基于第一类参数 特征确定待解释模型为第一模型； 获取所述第一模型对应的输入数据； 基于所述输入数据对所述第 一模型进行分析， 得到用于对所述第 一模型进行解释的第 一可解释性方案， 其中， 所述第一可解释性方案的解释参数至少基于所述第一模型 的模型 属性确定； 利用所述第一可解释性方案对所述第一模型进行解释， 得到解释结果； 基于所述解释结果， 确定所述第 一模型的解释相关度， 其中， 所述解释相关度用于表征 所述解释参数对所述第一模型的解释效果。 2.根据权利要求1所述的方法， 其中， 所述第 一模型的模型属性包括所述第 一模型的模 型任务， 所述基于所述输入数据对所述第一模型进行分析， 得到用于对所述第一模型进行 解释的第一可解释性方案， 包括： 根据所述第一模型的模型任务对所述输入数据进行处 理； 将处理后的所述输入数据输入所述第一模型， 得到所述第一模型的第一输出 结果； 根据所述第 一输出结果确定所述第 一模型的第 一解释参数， 所述第 一解释参数包括所 述输入数据中输入特 征对所述第一模型的重要度。 3.根据权利要求2所述的方法， 其中， 所述方法还 包括： 根据所述第 一模型的模型任务对所述输入数据中的输入特征进行调 整， 将调整后的所 述输入特 征输入所述第一模型中， 得到第二输出 结果； 根据所述第二输出结果确定所述第一模型的第二解释参数， 其中， 所述第二解释参数 包括所述输入特 征对所述第一模型的输出 结果的影响方式。 4.根据权利要求1所述的方法， 其中， 所述第 一可解释性方案还包括所述第 一模型的解 释方式， 所述方法还 包括： 基于所述第一模型的模型属性和/或输入数据的数据属性， 确定所述第一模型的解释 方式， 其中， 所述输入数据的数据属性包括数据类型和/或数据大小。 5.根据权利要求1所述的方法， 其中， 所述基于所述解释结果， 确定所述第一模型的解 释相关度， 包括： 确定所述 解释参数对所述第一模型的输出 结果的贡献度； 基于所述贡献度和所述第一模型的预设输入特 征确定所述第一模型的解释相关度； 基于所述 解释相关度调整所述第一模型的输入特 征。 6.根据权利要求1所述的方法， 其中， 所述基于第 一类参数特征确定待解释模型为第 一 模型， 包括： 基于所述待解释模型的模型复杂度、 模型结构 或模型格式中的至少一种判断所述待解 释模型是否为深度学习模型； 若是， 确定所述待解释模型为所述第一模型。 7.根据权利要求1所述的方法， 其中， 所述方法还 包括： 基于第二类参数 特征确定所述待解释模型为第二模型； 对所述第二模型进行分析， 得到用于解释所述第二模型的第二 解释性方案 。 8.根据权利要求7所述的方法， 其中， 所述对所述第二模型进行分析， 得到用于解释所权　利　要　求　书 1/2 页 2 CN 114048862 A 2述第二模型的第二 解释性方案， 包括： 判断所述第二模型 是否包含特征工程； 若包含， 基于所述特征工程中数据清理、 特征提取以及特征选择的方式配置所述第二 可解释性方案； 和/或 基于所述第二模型处理的任务类别配置所述第二可解释性方案， 其中， 所述任务类别 包括回归、 分类、 聚类或降维中的至少一种； 和/或 基于是否存在适用于所述第 二模型的输入数据， 以及是否 需要对所述输入数据进行采 样配置所述第二可解释性方案 。 9.根据权利要求1或7所述的方法， 其中， 在确定所述待解释模型的类型之后， 所述方法 还包括： 基于所述待解释模型的类型， 确定是否存在适用所述待解释模型的第三可解释性方 案， 其中， 所述第三可解释性方案预 先确定。 10.一种模型的解释装置， 包括： 第一确定模块， 配置为基于第一类参数 特征确定待解释模型为第一模型； 获取模块， 配置为获取 所述第一模型对应的输入数据； 分析模块， 配置为基于所述输入数据对所述第一模型进行分析， 得到用于对所述第一 模型进行解释的第一可解释性方案， 其中， 所述第一可解释性方案的解释参数至少基于所 述第一模型的模型属性确定； 解释模块， 配置为利用所述第一可解释性方案对所述第一模型进行解释， 得到解释结 果； 第二确定模块， 配置为基于所述解释结果， 确定所述第一模型的解释相关度， 其中， 所 述解释相关度用于表征 所述解释参数对所述第一模型的解释效果。权　利　要　求　书 2/2 页 3 CN 114048862 A 3