(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111308162.8 (22)申请日 2021.11.05 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 宋博文　朱明超　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 陈婧玥　周良玉 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) (54)发明名称 增强业务结果可解释性的方法及装置 (57)摘要 本说明书实施例提供一种增强业务结果可 解释性的方法及装置。 该方法包括： 获取原始行 为序列和对应的业务标签， 所述原始行为序列中 包括由目标用户做出的按照时间顺序排列的T个 操作行为； 利用训练好的业务预测模型， 确定M个 第一序列对应的M个业务预测结果； 所述M个第一 序列通过从所述原始行为序列中分别 屏蔽M组行 为而得到； 基于所述业务标签， 确定所述M个业务 预测结果对应的M个预测损失； 基于所述M个预测 损失， 从所述M组行为中确定关键行为， 用于解释 所述原始行为序列的业 务预测结果。 权利要求书4页 说明书12页 附图6页 CN 114091684 A 2022.02.25 CN 114091684 A 1.一种增强业 务结果可解释性的方法， 包括： 获取原始行为序列和对应的业务标签， 所述原始行为序列中包括由目标用户做出的按 照时间顺序排列的T个操作行为； 利用训练好的业务预测模型， 确定M个第一序列对应的M个业务预测结果； 所述M个第一 序列通过从所述原 始行为序列中分别屏蔽M组行为而得到； 基于所述 业务标签， 确定所述M个业 务预测结果对应的M个预测损失； 基于所述M个预测损失， 从所述M组行为中确定关键行为， 用于解释所述原始行为序列 的业务预测结果。 2.根据权利要求1所述的方法， 其中， 所述 业务标签通过 人工标注而得到 。 3.根据权利要求1所述的方法， 其中， 获取原 始行为序列和对应的业 务标签， 包括： 获取所述原始行为序列； 利用所述 业务预测模型， 确定所述原 始行为序列的业 务预测结果， 作为所述 业务标签。 4.根据权利要求1所述的方法， 其中， 所述业务标签包括对应多个预测任务的多个子标 签， 所述业务预测结果包括对应所述多个预测任务的多个子结果。 5.根据权利要求1所述的方法， 其中， 所述业务预测模型中包括行为注意力层； 其中， 在 利用训练好的业务预测模型， 确定M个第一序列对应的M个业务预测结果之前， 所述方法还 包括： 获取利用所述行为注意力层确定出的对应所述T个操作行为的T个注意力权 重； 确定所述T个注意力权 重中大于 权重阈值或排在预设靠前 范围内的部分注意力权 重； 对所述部分注意权 重对应的操作行为进行分组， 得到所述M组行为。 6.根据权利要求1或5所述的方法， 其中， 所述M组行为中任意两组行为之间互斥。 7.根据权利要求1所述的方法， 其中， 在利用训练好的业务预测模型， 确定M个第 一序列 对应的M个业 务预测结果之前， 所述方法还 包括： 针对所述M组行为中的任意一组行为， 将所述原始行为序列中包含的该组行为替换为 缺省值， 得到对应的第一序列。 8.根据权利要求1所述的方法， 其中， 所述业务预测模型包括行为表征层、 序列表征层 和输出层； 其中， 利用训练好的业务预测模型， 确定M个第一序列对应的M个业务预测结果， 包括： 利用所述行为表征层， 确定所述T个操作行为对应的T个行为表征向量； 针对所述M组行为中的任意一组行为， 对所述T个行为表征向量包含的与 该组行为对应 的行为表征向量进行置零处 理； 利用所述序列表征层， 对经过置零处理后得到的T个行为表征向量进行处理， 得到该组 行为所对应第一序列的序列表征向量； 利用所述输出层处 理所述序列表征向量， 得到该第一序列对应的业 务预测结果。 9.根据权利要求1所述的方法， 其中， 所述业务预测模型包括行为表征层、 序列表征层 和输出层； 其中， 利用训练好的业务预测模型， 确定M个第一序列对应的M个业务预测结果， 包括： 利用所述行为表征层， 确定所述T个操作行为对应的T个行为表征向量； 针对所述M组行为中的任意一组行为， 对所述序列表征层中用于处理该组行为的模型权　利　要　求　书 1/4 页 2 CN 114091684 A 2参数进行置零处 理； 利用经过所述置零处理后的序列表征层处理所述T个行为表征向量， 得到该组行为所 对应第一序列的序列表征向量； 利用所述输出层处 理所述序列表征向量， 得到该第一序列对应的业 务预测结果。 10.根据权利要求1所述的方法， 其中， 基于所述M个预测损失， 从所述M组行为中确定关 键行为， 包括： 确定所述M个预测损失中大于损失阈值或排在预设靠前 范围内的若干预测损失； 将所述若干预测损失对应的若干组行为， 确定为所述关键行为。 11.根据权利要求10所述的方法， 其中， 所述T个操作行为中的各个操作行为对应N个属 性字段； 其中， 在基于所述M个预测损失， 从所述M组行为中确定关键行为之后， 所述方法还 包括： 利用所述业务预测模型， 确定Q个第二序列对应的Q个业务预测结果； 所述Q个第二序列 对应于， 在由所述关键行为形成的行为序列中分别屏蔽Q组属性字段而得到的序列； 基于所述 业务标签， 确定所述 Q个业务预测结果对应的Q个预测损失； 基于所述Q个预测损失， 从所述Q组属性字段中确定关键属性字段， 用于解释所述原始 行为序列的业 务预测结果。 12.一种增强业 务结果可解释性的方法， 包括： 获取原始行为序列和对应的业务标签， 所述原始行为序列中包括由目标用户做出的按 照时间顺序排列的T个操作行为， 其中各个操作行为包括 N个属性字段； 利用训练好的业务预测模型， 确定S个第三序列对应的S个业务预测结果； 所述S个第三 序列通过从所述原 始行为序列中分别屏蔽S组属性字段而得到； 基于所述 业务标签， 确定所述S个业 务预测结果对应的S个预测损失； 基于所述S个预测损失， 从所述S组属性字段中确定关键属性字段， 用于解释所述原始 行为序列的业 务预测结果。 13.根据权利要求12所述的方法， 其中， 所述S组属性字段中任意两组属性字段之间互 斥。 14.根据权利要求12所述的方法， 其中， 在利用训练好的业务预测模型， 确定S个第三序 列对应的S个业 务预测结果之前， 所述方法还 包括： 针对所述S组属性字段中的任意一组属性字段， 将所述原始行为序列中各个行为对应 该组中属性字段的字段值 替换为缺省值， 得到对应的第三序列。 15.根据权利要求12所述的方法， 其中， 所述业务预测模型包括属性编码层、 行为表征 层、 序列表征层和 输出层； 其中， 利用训练好的业务预测模型， 确定S个第三序列对应的S个 业务预测结果， 包括： 针对所述T个操作行为中的每个操作行为， 利用所述属性编码层处理该行为中包含的 对应N个属性字段的字段值， 得到对应的N个属性编码向量； 针对所述S组属性字段中的任意一组属性字段， 将所述N个属性编码向量中与该组属性 字段对应的属性编码向量进行置零处 理； 利用行为表征层， 对经过置零处理后得到的N个属性编码向量进行处理， 得到该行为对 应的行为表征向量；权　利　要　求　书 2/4 页 3 CN 114091684 A 3