(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210898366.X (22)申请日 2022.07.28 (71)申请人 度小满科技(北京)有限公司 地址 100085 北京市海淀区西北旺东路10 号院西区4 号楼度小 满金融总部 (72)发明人 胡东旭　赵鹏　司禹　陈存利　 (74)专利代理 机构 北京国贝知识产权代理有限 公司 11698 专利代理师 于倩 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 9/50(2006.01) (54)发明名称 分布式异构数据同步方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开了一种分布式异构数据 同步方 法、 装置、 电子设备及存储介质。 分布式异构数据 同步方法包括步骤： 接收用户发起同步请求； 确 定同步任务， 同步任务至少包含源端和目的端信 息； 将同步任务提交到同步任务管理器， 同步任 务管理器具有多个实例， 其中一个实例为主实 例、 其他实例为备份实例， 同步任务管理器采用 预定或用户选定的策略管理和分发至少一个同 步任务， 至少一个同步任务由同步任务管理器分 发到etcd ‑flow中执行， etcd ‑flow有多个etcd ‑ flow实例， 不同的etcd ‑flow实例分别与至少一 个同步任务中的一个同步任务对应的源端和目 的端建立长连接执行不同的同步任务。 本申请的 技术方案时效性、 便捷性、 可靠性较好。 权利要求书2页 说明书10页 附图4页 CN 115269618 A 2022.11.01 CN 115269618 A 1.一种分布式异构数据同步方法， 用于源端到目的端异构数据的同步， 其特征在于， 包 括步骤： 接收用户发起的多个源端到 至少一个目的端的同步请求； 根据所述同步请求确定至少一个同步任务， 所述至少一个同步任务至少包含其对应的 源端和目的端信息； 将所述至少一个同步任务提交到同步任务管理器， 所述同步任务管理器具有多个实 例， 其中一个实例为主实例、 其他 实例为备份实例， 所述同步任务管理器采用预定或用户选 定的策略管理和分发所述至少一个同步任务， 所述至少一个同步任务由所述同步任务管理 器分发到etcd ‑flow中执行， etcd ‑flow有多个etcd ‑flow实例， 不同的etcd ‑flow实例分别 与至少一个同步任务中的一个同步任务对应的源端和目的端建立长连接执行不同的同步 任务。 2.根据权利要求1所述的分布式异构数据同步方法， 其特征在于， 所述根据所述同步请 求确定至少一个同步任务包括： 若所述同步请求是对应源端的第一个同步请求， 确定同步任务为全量同步任务， 对对 应源端进行遍历并同步到目的端， 并根据etcd ‑flow实例与源端建立的长连接利用etcd   watcher机制监控 对应源端数据变化并同步变化数据； 若所述同步请求不是对应源端的第一个同步请求， 确定同步任务为增量同步， 根据 etcd‑flow实例与源端建立的长连接利用etcd  watcher机制监控对应源端数据变化并同步 变化数据。 3.根据权利要求2所述的分布式异构数据同步方法， 其特征在于， 其特征在于， 所述同 步任务管理器采用预定或用户选 定的策略管理和分发所述至少一个同步任务包括： 若当前同步任务管理器的存活实例数大于当前同步任务管理器的实例总数的一半， 则 将提交到当前同步任务管理器的所述至少一个同步任务进行序列化并按预定或用户选定 的负载均衡策略分发到etcd ‑flow中执行， 否则拒绝执 行。 4.根据权利要求3所述的分布式异构数据同步方法， 其特征在于， 所述按设定或选定的 负载均衡策略包括如下 策略之一或其组合： a)随机分配策略： 同步任务随机分配给任意 一个etcd ‑flow实例执行； b)耗时最低分配策略： 统计etcd ‑flow实例 在设定时间内的平均响应时间， 优先分发同 步任务到平均响应时间较低的etcd ‑flow实例； c)负载最低分配策略： 针对每个etcd ‑flow实例的实际负载进行同步任务分发， 优先分 发同步任务到负载较低的etcd ‑flow实例。 5.根据权利要求1所述的分布式异构数据同步方法， 其特征在于， 所述同步任务管理器 采用多地域部署、 具有大于等于3的奇数个实例， 所述同步任务管 理器的实例间通过gossip 协议进行 数据通信以保持实例间的一 致性。 6.根据权利要求1所述的分布式异构数据同步方法， 其特征在于， 所述不同的etcd ‑ flow实例分别与至少一个同步任务中的一个同步任务对应的源端和目的端建立长连接执 行不同的同步任务， 包括： 通过etcd ‑flow实例接收同步任务管理器传送的源端地址和目的端地址以及相应的用 户名、 密码， etcd ‑flow实例分别与对应的源端和对应目的端建立长连接；权　利　要　求　书 1/2 页 2 CN 115269618 A 2通过etcd ‑flow实例与对应的源端的长连接、 利用etcdwacher机制监测、 确定对应的源 端的数据变化， 获取对应的源端的变化数据； 对获取的对应源端的变化数据进行解析并转 化为符合对应的目的端协议的变化数据； 将符合对应的目的端协议的变化数据插 入对应的目的端数据库。 7.根据权利要求1至 6中任一项所述的分布式异构数据同步方法， 其特 征在于， 还 包括： 采用以下 策略处理同步过程中的异常情况： 若etcd‑flow实例与目的端之间 的长连接异常断开， etcd ‑flow实例将远端同步到的数 据以追加的方式， 通过套接字传输写入到同步任务管 理器， 当etcd ‑flow实例与目的端之间 的长连接恢复后， etcd ‑flow实例从同步任务管 理器下载已传输的数据， 回放更新到目的端 数据库中； 若源端与etcd ‑flow实例之间 的长连接异常断开， 等到源端与etcd ‑flow实例之间 的长 连接恢复时， 删除已同步的数据， 重新进行同步； 若etcd‑flow实例异常挂掉， 同步任务管理器将挂掉 的etcd‑flow实例移除， 将未完成 的同步任务继续分发给其 他正常的etcd ‑flow实例； 若同步任务管理器实例异常挂掉， 若挂掉的同步任务管理器实例不超过半数， 继续执 行同步任务。 8.一种分布式异构数据同步装置， 其特 征在于， 包括： 请求发起模块， 用于 接收用户发起的多个源端到 至少一个目的端的同步请求； 任务确定模块， 用于根据所述同步请求确定至少一个同步任务， 所述至少一个同步任 务至少包 含其对应的源端和目的端信息； 同步执行模块， 用于将所述至少一个同步任务提交到同步任务管理器， 所述同步任务 管理器具有多个实例， 其中一个实例为主实例、 其他 实例为备份实例， 所述同步任务管理器 采用预定或用户选定的策略管理和分发所述至少一个同步任务， 所述至少一个同步任务由 所述同步任务管理器分发到 etcd‑flow中执行， et cd‑flow有多个实例， 不同的etcd ‑flow实 例分别与至少一个同步任务中的一个同步任务对应的源端和目的端建立长连接执行不同 的同步任务。 9.一种电子设备， 其特征在于， 包括： 至少一个处理器； 以及与所述至少一个处理器通 信连接的存储器； 其中， 所述存储器存储有 可被所述一个处理器执行的指 令， 所述指 令被所 述至少一个处理器执行， 以使所述至少一个处理器执行上述权利要求1 ‑7中任一项所述的 分布式异构数据同步方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有多条指 令， 所述指令适于由处理器加载以执行权利要求 1至7任一项 所述的分布式异构数据同步方 法。权　利　要　求　书 2/2 页 3 CN 115269618 A 3