(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211325034.9 (22)申请日 2022.10.27 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 曹海傧　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 常晓 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/23(2019.01) G06F 16/22(2019.01) (54)发明名称 一种流数据处 理方法、 装置 (57)摘要 本申请实施例提供了一种流数据处理方法、 装置， 涉及数据分析技术领域,该方法包括:适用 于以数据流方式处理采集的任一数据表， 所述方 法包括数据流引擎获取第一数据表的任一流数 据， 若所述第一数据表对应的第一单表中存在所 述流数据的主键， 则根据所述流数据的事件时间 确定是否 更新所述流数据至所述第一单表中； 所 述数据流引擎针对与所述第一单表存在关联关 系的至少一个第二单表， 分别从所述第一单表和 从所述第二单表中获取同一主键对应的合并信 息并组成宽表。 通过 以上的流数据处理方法,可 以有效的处理流数据基于业务需求不受限制进 行不断实时更新， 同时也可以达到毫秒级的流数 据查询， 减少了资源的浪费。 权利要求书2页 说明书9页 附图6页 CN 115481160 A 2022.12.16 CN 115481160 A 1.一种流数据处理方法， 其特征在于， 适用于以数据流方式处理采集的任一数据表， 所 述方法包括： 数据流引擎获取第 一数据表的任一流数据， 若所述第 一数据表对应的第 一单表中存在 所述流数据的主键， 则根据所述流数据的事件时间确定是否更新所述流数据至所述第一单 表中； 所述数据流引擎针对与所述第 一单表存在关联关系的至少一个第 二单表， 分别从所述 第一单表和从所述第二单表中获取同一主键对应的合并信息并组成宽表。 2.如权利要求1所述的方法， 其特征在于， 根据所述流数据的事件时间确定是否更新所 述流数据至所述第一单表中， 包括： 确定所述第一单表中所述主键对应的最 新的第一事 件时间； 若所述流数据的第 二事件时间不早于所述第 一事件时间， 则将所述流数据更新至所述 第一单表中； 否则， 丢弃 所述流数据。 3.如权利要求1所述的方法， 其特征在于， 数据流引擎获取第一数据表的任一流数据， 包括： 数据流引擎以窗口方式获取第一数据表中的各流数据； 根据所述流数据的事件时间确定是否更新所述流数据至所述第一单表中之前， 还包 括： 所述数据流引擎对处于同一窗口内的各流数据， 确定是否存在相同主键的流数据， 并 丢弃具有相同主键且 事件时间滞后的流数据。 4.如权利要求3所述的方法， 其特征在于， 数据流引擎以窗口方式获取第 一数据表中的 各流数据， 包括： 所述数据流引擎获取第 一数据表的任一流数据， 根据所述流数据的主键确定在所述数 据流引擎中用于处 理所述流数据的第一处 理单元； 所述第一处理单元以窗口方式获取属于所述第 一处理单元的各流数据； 所述第 一处理 单元用于完成流数据至单表的更新。 5.如权利要求3所述的方法， 其特征在于， 获取同一主键对应的合并信息并组成宽表， 包括： 基于所述同一主键， 确定所述数据流引擎中用于处理所述同一主键对应的合并信 息的 第二处理单元； 所述第二处理单元以窗口方式获取属于所述第二处理单元的各合并信息， 并组成宽 表。 6.如权利要求1 ‑5任一项所述的方法， 其特征在于， 所述单表为同构表， 所述宽表为明 细表； 组成宽表之后， 还 包括： 将所述宽表发送至不同的大 数据搜索引擎， 或数据存 储引擎； 将所述宽表存储至数据仓库， 所述数据仓库用于不同的大数据搜索引擎或数据存储引 擎进行访问。 7.一种流数据处 理装置， 其特 征在于， 包括： 更新单元， 用于获取第一数据表的任一流数据， 若所述第一数据表对应的第一单表中 的存在所述流数据的主键， 则根据所述流数据的事件时间确定是否更新所述流数据至所述权　利　要　求　书 1/2 页 2 CN 115481160 A 2第一单表中； 获取单元， 用于针对与所述第一单表存在关联关系的至少一个第二单表， 分别从所述 第一单表和从所述第二单表中获取同一主键对应的合并信息并组成宽表。 8.一种计算设备， 其特征在于， 包括至少一个处理器以及至少一个存储器， 其中， 所述 存储器存储有计算机程序， 当计算机程序被所述处理器执行时， 使得所述处理器执行如权 利要求1至 6任一所述的方法。 9.一种计算机可读存储介质， 其特征在于， 其存储有可由计算设备执行的计算机程序， 当所述程序在所述计算设备上运行时， 使 得所述计算设备执行如权利要求 1至6任一所述的 方法。 10.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115481160 A 3