(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210168591.8 (22)申请日 2022.02.23 (71)申请人 北京快确信息科技有限公司 地址 100000 北京市西城区阜成门外大街 31号4层411D (72)发明人 喻广博　周靖宇　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 李良 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06N 3/08(2006.01) (54)发明名称 基于词汇增强的信息解析方法、 装置及电子 设备 (57)摘要 本发明公开了一种基于词汇增强的信息解 析方法、 装置及电子设备， 方法包括： 获取待 解析 的债券信息， 根据债券信息构造输入序列， 所述 输入序列包括债券信息中的字符向量和字符对 应的词汇向量； 构建预训练模型， 通过预训练模 型对输入序列进行处理， 生 成输入序列的语义表 征； 将语义表征通过丢弃层和归一化层后， 输出 目标向量， 所述目标向量为解析后的结构化的债 券信息。 本发 明实施例充分利用了文本中的词汇 信息， 从而能使该装置更好的识别出实体边界， 提升了金融债券二级成交业务中交易要素提取 的准确率。 权利要求书2页 说明书8页 附图5页 CN 114692635 A 2022.07.01 CN 114692635 A 1.一种基于词汇增强的信息解析 方法,其特 征在于,所述方法包括： 获取待解析的债券信息， 根据债券信息构造输入序列， 所述输入序列包括债券信息中 的字符向量和字符对应的词汇向量； 构建预训练模型， 通过 预训练模型对输入序列进行处 理， 生成输入序列的语义表征； 将语义表征通过丢弃层和归一化层后， 输出目标向量， 所述目标向量为解析后的结构 化的债券信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待解析的债券信息， 根据债券信 息构造输入序列， 包括： 获取待解析的债券信息， 将债券信息处 理为单个的字符； 根据单个的字符构造 输入序列。 3.根据权利要求2所述的方法， 其特 征在于， 所述 根据单个的字符构造 输入序列， 包括： 获取待解析的债券信息中的中文句子； 根据预设的词典对中文句子进行匹配， 获取中文句子中的词汇； 获取每个字符与包 含所述字符的词汇组成词汇对， 生成输入序列。 4.根据权利要求3所述的方法， 其特征在于， 所述构建预训练模型， 通过预训练模型对 输入序列进行处 理， 生成输入序列的语义表征， 包括： 构建基于BERT模型的预训练模型； 通过BERT模型对输入序列进行处 理， 生成输入序列对应的语义表征。 5.根据权利要求4所述的方法， 其特征在于， 所述通过BERT模型对输入序列进行处理， 生成输入序列对应的语义表征， 包括： 通过BERT模型对输入序列中的词 汇向量进行非线性变换， 生成非线性变换后的词汇向 量， 所述变换后的词汇向量与字符向量的维度对齐； 计算字符向量与词汇向量的相关性， 根据相关性计算所有词汇向量的权重， 根据权重 计算目标词汇向量； 将目标词汇向量融合到 字符向量中， 生成输入序列的语义表征。 6.根据权利要求5所述的方法， 其特征在于， 所述计算字符向量与词汇向量的相关性， 根据相关性计算所有词汇向量的权 重， 根据权 重计算目标词汇向量， 包括： 根据双线性注意力层计算字符向量与词汇向量的相关性； 根据相关性计算所有词汇向量的权 重； 根据权重计算目标词汇向量。 7.根据权利要求6所述的方法， 其特征在于， 所述将目标词汇向量融合到字符向量中， 生成输入序列的语义表征， 包括： 将目标词汇向量与字符向量进行相加， 生成融合表征， 所述融合表征为输入序列的语 义表征。 8.一种基于词汇增强的信息解析装置， 其特 征在于， 所述装置包括： 序列构建模块， 用于获取待解析的债券信 息， 根据债券信 息构造输入序列， 所述输入序 列包括债券信息中的字符向量和字符对应的词汇向量； 输入序列处理， 用于构建预训练模型， 通过预训练模型对输入序列进行处理， 生成输入 序列的语义表征；权　利　要　求　书 1/2 页 2 CN 114692635 A 2目标向量输出模块， 用于将语义表征通过丢弃层和归一化层后， 输出目标向量， 所述目 标向量为解析后的结构化的债券信息 。 9.一种电子设备， 其特 征在于， 所述电子设备包括至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述的基于词汇增强的 信息解析 方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介 质存储有计算机可执行指令， 该计算机可执行指令被一个或多个处理器执行时， 可使得所 述一个或多个处 理器执行权利要求1 ‑7任一项所述的基于词汇增强的信息解析 方法。权　利　要　求　书 2/2 页 3 CN 114692635 A 3