全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211065991.2 (22)申请日 2022.09.01 (71)申请人 广域铭岛数字科技有限公司 地址 401123 重庆市渝北区金开大道西段 106号10幢24层 申请人 浙江吉利控股集团有限公司 (72)发明人 王晓虎 邓春龙 彭杰 谭谈  舒润  (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 王积毅 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/242(2019.01)G06F 16/2455(2019.01) (54)发明名称 数据库之间的数据同步方法、 系统、 电子设 备及存储介质 (57)摘要 本发明涉及数据同步技术领域, 公开了一种 数据库之间的数据同步方法、 系统、 电子设备及 存储介质, 该方法通过 获取原始数据库的同步订 阅信息, 根据同步订阅信息中的订阅目标标识确 定各原始数据库的目标数据库, 根据同步订阅信 息中的同步数据粒度对目标数据库对应的二进 制日志进行监听, 进而获取目标数据库的增量数 据, 通过增量数据对原始数据库进行数据同步, 基于系统数据库对应的同步订阅信息确定原始 数据库及其对应的目标数据库, 再根据二进制日 志采集目标数据库的增量数据, 不仅避免重新开 发用于数据同步的数据库语句, 并且节约了接口 与每个原始数据库之间传输链路, 从而降低了数 据库之间的数据同步的成本 。 权利要求书2页 说明书10页 附图3页 CN 115329007 A 2022.11.11 CN 115329007 A 1.一种数据库之间的数据同步方法, 其特 征在于, 包括: 获取多个系统数据库, 并获取至少一部分所述系统数据库对应的同步订阅信 息, 其中, 所述同步 订阅信息包括 订阅目标 标识、 同步数据粒度和数据同步方式; 将任一同步订阅信 息确定为目标信 息, 将所述目标信 息对应的系统数据库确定为原始 数据库, 根据所述 目标信息的订阅目标标识对各所述系统数据库进行匹配, 得到所述原始 数据库对应的目标 数据库; 将所述目标信 息的同步数据 粒度确定为目标粒度, 根据 所述目标粒度对所述目标数据 库对应的二进制日志进行监听, 若所述二进制日志中产生所述 目标粒度对应的增量日志, 则根据所述增量日志对所述目标 数据库进行 数据提取, 得到增量数据; 根据所述目标信 息的数据同步方式将所述增量数据推送至所述原始数据库, 使得所述 原始数据库根据所述增量数据进行 数据同步。 2.根据权利要求1所述的方法, 其特征在于, 根据 所述目标粒度对所述目标数据库对应 的二进制日志进行监听, 包括: 所述系统数据库包括至少一个数据库表, 所述同步数据粒度包括表数据或库数据; 若所述目标粒度包括库数据, 则建立所述目标数据库对应的第一监听接口, 利用所述 第一监听接口对所述目标数据库对应的二进制日志进 行监听, 并从所述目标数据库对应的 二进制日志中确定所述目标 数据库对应的增量日志; 若所述目标粒度包括表数据, 则获取所述目标粒度对应的范围标识, 根据所述范围标 识从所述目标数据库的数据库表中确定所述目标粒度对应的目标表, 根据所述目标表建立 所述目标数据库对应的第二监听接口, 利用所述第二监听接口对所述目标数据库对应的二 进制日志进行监听, 并从所述目标数据库对应的二进制日志中确定所述目标表对应的增量 日志。 3.根据权利要求1所述的方法, 其特征在于, 根据 所述目标信 息的数据同步方式将所述 增量数据推送至所述原 始数据库, 包括: 若所述数据同步方式包括接口请求同步, 则根据 预设接口信 息向所述原始数据库 添加 同步推送接口, 其中, 所述预设接口信息包括接口地址和请求方式; 根据所述请求方式对所述增量数据进行编码, 得到同步请求; 通过所述接口地址将所述同步请求发送至所述原 始数据库的同步推送接口。 4.根据权利要求1所述的方法, 其特征在于, 根据 所述目标信 息的数据同步方式将所述 增量数据推送至所述原 始数据库, 包括: 若所述数据同步方式包括消息队列同步, 则获取消息服 务器; 将所述增量数据发送至所述消息服务器, 使得所述消息服务器在满足第 一预设条件或 第二预设条件时, 将所述增量数据以消息队列的形式发送至所述原始数据库, 其中, 所述第 一预设条件包括接收到所述增量数据, 所述第二预设条件包括接收到所述原始数据库发送 的同步请求。 5.根据权利要求1所述的方法, 其特征在于, 根据 所述目标信 息的数据同步方式将所述 增量数据推送至所述原 始数据库, 包括: 若所述数据同步方式包括数据库同步, 则获取所述原始数据库的数据库类型, 并根据 所述数据库类型从预设指令模板中匹配所述数据库类型对应的同步语句模板;权 利 要 求 书 1/2 页 2 CN 115329007 A 2将所述增量数据添加到所述同步语句模板, 得到所述增量数据对应的数据同步语句; 将所述数据同步语句推送至所述原始数据库, 使得所述原始数据库 执行所述数据同步 语句。 6.根据权利要求1所述的方法, 其特征在于, 根据 所述目标信 息的数据同步方式将所述 增量数据推送至所述原 始数据库之后, 所述方法还 包括: 响应于所述原 始数据库的同步失败结果, 统计失败结果次数; 若所述失败结果 次数大于预设失败阈值, 则 重新根据所述目标信 息的数据同步方式将 所述增量数据推送至所述原 始数据库。 7.根据权利要求1至6任一项所述的方法, 其特征在于, 根据所述目标信息的数据同步 方式将所述增量数据推送至所述原 始数据库之前, 所述方法还 包括: 根据所述数据同步方式、 所述述增量数据、 所述原始数据库生成同步任务, 并将所述同 步任务加入预设的同步任务队列, 其中, 所述同步任务包括根据所述 目标信息的数据同步 方式将所述增量数据推送至所述原 始数据库; 监控所述同步任务队列; 若所述同步任务队列存在所述原始数据库对应的同步任务, 则生成所述原始数据库对 应的任务执行线程, 其中, 所述任务执行线程用于按照加入时间依 次执行所述原始数据库 对应的同步任务; 若所述同步任务队列不存在所述原始数据库对应的同步任务, 则清除所述原始数据库 对应的任务执 行线程。 8.一种数据库之间的数据同步系统, 其特 征在于, 包括: 获取模块, 用于获取多个系统数据库, 并获取至少一部分所述系统数据库对应的同步 订阅信息, 其中, 所述同步 订阅信息包括 订阅目标 标识、 同步数据粒度和数据同步方式; 匹配模块, 用于将任一同步订阅信息确定为目标信息, 将所述目标信息对应的系统数 据库确定为原始数据库, 根据所述目标信息的订阅目标标识对各所述系统数据库进行匹 配, 得到所述原 始数据库对应的目标 数据库; 提取模块, 用于将所述目标信息的同步数据粒度确定为目标粒度, 根据所述目标粒度 对所述目标数据库对应的二进制日志进行监听, 若所述二进制日志中产生所述目标粒度对 应的增量日志, 则根据所述增量日志对所述目标 数据库进行 数据提取, 得到增量数据; 同步模块, 用于根据 所述目标信 息的数据同步方式将所述增量数据推送至所述原始数 据库, 使得 所述原始数据库根据所述增量数据进行 数据同步。 9.一种电子设备, 其特 征在于, 包括: 处 理器及存 储器; 所述存储器用于存储计算机程序, 所述处理器用于执行所述存储器存储的计算机程 序, 以使所述电子设备 执行如权利要求1至7任一项所述的方法。 10.一种计算机可读存 储介质, 其上存 储有计算机程序, 其特 征在于: 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115329007 A 3

PDF文档 专利 数据库之间的数据同步方法、系统、电子设备及存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据库之间的数据同步方法、系统、电子设备及存储介质 第 1 页 专利 数据库之间的数据同步方法、系统、电子设备及存储介质 第 2 页 专利 数据库之间的数据同步方法、系统、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:39:57上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。