(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111347946.1 (22)申请日 2021.11.15 (71)申请人 邦道科技有限公司 地址 214028 江苏省无锡市新吴区菱湖大 道111号无锡软件园天鹅座B栋10楼 (72)发明人 李航　吴鹏　张丰　文朝　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 代理人 王治东 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/215(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06N 20/00(2019.01) (54)发明名称 大数据实时建模方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种大数据实时建模方法、 装 置、 电子设备及存储介质， 所述方法包括： 同步流 程， 基于同步任务将源数据同步至主表数据库和 维表数据库， 所述源数据包括历史主表数据、 历 史维表数据、 实时主表数据和实时维表数据； 初 始流程， 基于预设逻辑关系构建所述历史主表数 据和所述历史维表数据之间的关联关系， 得到初 始化数据模型； 实时流程， 基于所述预设逻辑关 系构建所述实时主表数据和所述实时维表数据 之间的关联关系， 得到实时数据模型； 存储流程， 将所述初始化数据模型和所述实时数据模型存 储到数仓。 本发 明实施例提供的大数据实时建模 方法、 装置、 电子设备及存储介质， 提高了 数据分 析的效率和准确率， 以便于支撑企业做出合理的 商业决策。 权利要求书2页 说明书9页 附图3页 CN 114116663 A 2022.03.01 CN 114116663 A 1.一种大 数据实时建模方法， 其特 征在于， 包括： 同步流程， 基于同步任务将源数据同步至主表数据库和维表数据库， 所述源数据包括 历史主表数据、 历史维表数据、 实时主表数据和实时维表数据； 初始流程， 基于预设逻辑关系构建所述历史主表数据和所述历史维表数据之间的关联 关系， 得到初始化数据模型； 实时流程， 基于所述预设逻辑关系构建所述实时主表数据和所述实时维表数据之间的 关联关系， 得到实时数据模型； 存储流程， 将所述初始化数据模型和所述实时数据模型存 储到数仓 。 2.根据权利要求1所述的大数据实时建模方法， 其特征在于， 所述基于同步任务将源数 据同步至主表数据库和维表数据库， 具体包括： 基于数据同步日志更新任务中心内的流处理任务， 基于任务中心下发的所述流处理任 务进行数据同步处理， 并对所述历史数据执行全量同步处理， 对所述实时数据执行增量同 步处理。 3.根据权利要求1所述的大数据实时建模方法， 其特征在于， 所述基于同步任务将源数 据同步至主表数据库和维表数据库， 具体还 包括： 当重启未完成的流处理任务时， 基于Mysql数据库内的数据流位点信息开始数据同步 任务。 4.根据权利要求1所述的大数据实时建模方法， 其特征在于， 所述历史数据包括以下至 少一种： 所述源数据中的单一主表和多张维表； 所述源数据中的单一主表； 所述源数据中的 多张主表和/或多张维表。 5.根据权利要求1所述的大数据实时建模方法， 其特征在于， 所述方法还包括： 基于所 述维表数据库以及预设逻辑关系对所述实时数据进行处理， 得到宽表数据； 将所述宽表数 据输入标签提取模型， 得到数据标签， 将所述数据标签存储到所述数仓； 其中， 所述标签提 取模型是通过多个宽表数据和多个宽表数据对应的数据标签通过机器学习训练得到的。 6.根据权利要求1所述的大数据实时建模方法， 其特征在于， 在所述实时流程之前， 所 述方法还 包括： 预处 理流程， 对实时数据进行 数据清洗和数据去重 。 7.根据权利要求2所述的大数据实时建模方法， 其特征在于， 所述流处理任务的信 息包 括： 任务名称、 数据源类型、 数据源名称、 同步模式、 创建人、 创建时间以及状态字段。 8.一种大 数据实时建模 装置， 其特 征在于， 包括： 同步模块， 用于基于同步任务将源数据同步至主表数据库和维表数据库， 所述源数据 包括历史主表数据、 历史维表数据、 实时主表数据和实时维表数据； 初始模块， 用于基于预设逻辑关系构建所述历史主表数据和所述历史维表数据之间的 关联关系， 得到初始化数据模型； 实时模块， 用于基于所述预设逻辑关系构建所述实时主表数据和所述实时维表数据之 间的关联关系， 得到实时数据模型； 存储模块， 用于将所述初始化数据模型和所述实时数据模型存 储到数仓 。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述大数据实时建模方法的步骤。权　利　要　求　书 1/2 页 2 CN 114116663 A 210.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述大 数据实时建模方法的步骤。权　利　要　求　书 2/2 页 3 CN 114116663 A 3