(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211017525.7 (22)申请日 2022.08.23 (71)申请人 光大环境科技 （中国） 有限公司 地址 211106 江苏省南京市江宁区苏源大 道19号九龙湖国际企业总部园B3座 （江宁开发区） 申请人 光大环保技 术研究院 （南京） 有限公 司　 光大环保技 术研究院 （深圳） 有限公 司 (72)发明人 钱晨　徐忻　 (74)专利代理 机构 北京市磐华 律师事务所 11336 专利代理师 高伟(51)Int.Cl. G06F 16/21(2019.01) G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 21/62(2013.01) (54)发明名称 数据导入中台的方法、 装置、 系统、 电子设 备、 存储介质 (57)摘要 本申请提供数据导入中台的方法、 装置、 系 统、 电子设备， 所述方法包括： 根据用户的类型向 其分配相应的异构数据源中数据库的访问权限， 以使得所述用户基于所述访问权限访问所述数 据库并对所述数据库中的数据输入梳理操作； 接 收所述梳理操作， 根据所述梳理操作对所述数据 进行梳理； 将梳理后的数据导入中台。 本申请摒 弃了需要依靠第三方咨询公司搭建中台的方案， 消除了数据暴露在第三方人员以及其他无权限 人员的风险， 而且用户对数据的熟悉程度高于第 三方咨询公司， 在对数据梳理时会 更加可靠和全 面。 权利要求书3页 说明书18页 附图6页 CN 115438024 A 2022.12.06 CN 115438024 A 1.一种数据导入中 台的方法， 其特 征在于， 包括： 根据用户的类型向其分配相应的异构数据源中数据库的访问权限， 以使得所述用户基 于所述访问权限访问所述数据库并对所述数据库中的数据输入梳理操作； 接收所述梳理操作， 根据所述梳理操作对所述数据进行梳理； 将梳理后的数据导入中 台。 2.如权利要求1所述的数据导入中台的方法， 其特征在于， 所述数据库的连接插入到预 先创建的连接池内， 以使得 所述用户通过 所述连接池访问所述数据库。 3.如权利要求1所述的数据导入中台的方法， 其特征在于， 所述根据所述梳理操作对所 述数据进行梳理， 包括： 根据所述梳理操作选取待梳理的数据库； 选取所述待梳理的数据库中符合要求的数据表； 选取所述数据表中符合要求的字段； 对所述字段进行分析， 根据分析结果确定所述字段导入中台的方式； 导入方式包括全 量导入和增量导入。 4.如权利要求3所述的数据导入中台的方法， 其特征在于， 在对所述字段进行分析， 根 据分析结果确定所述字段导入中台的方式之后， 还包括对所述字段进行校验的步骤， 检验 方式包括文本类型校验和数值类型校验， 所述文本类型校验用于表征对字段的文本进 行校 验， 所述数值类型 校验用于表征对字段的数值进行 校验。 5.如权利要求4所述的数据导入中台的方法， 其特征在于， 所述文本类型校验包括通用 文本类校验和复杂文本类校验， 所述通用文本类校验表征按照预先导入的校验规则对所述 字段进行校验； 所述复杂文本类校验表征在预先导入的校验规则的基础上添加规则对所述 字段进行 校验。 6.如权利要求5所述的数据导入中台的方法， 其特征在于， 所述在预先导入的校验规则 的基础上 添加规则， 包括： 获取用户添加的与梳理向导相匹配的规则； 编辑规则信 息并生成规则代码； 所述规则信 息包括以下至少之一： 校验规则名称、 校验 类型、 校验长度和校验限定； 解析所述规则代码， 并将解析 结果插入预先导入的校验规则内。 7.如权利要求5所述的数据导入中台的方法， 其特征在于， 所述数值类型校验包括统计 校验和运算校验； 所述统计校验包括最大最小值校验、 历史数据求和校验和均值校验中的 至少一项； 所述 运算校验包括算术运算校验、 范围校验和逻辑校验中的至少一项。 8.如权利要求5～8中任意一项所述的数据导入中台的方法， 其特征在于， 所述方法还 包括： 在校验结束后返回校验 日志并确定校验结果是否存在错误， 当所述校验结果存在错 误时在所述校验日志中定位 错误位置并进行修 正。 9.如权利要求1所述的数据导入中台的方法， 其特征在于， 所述方法还包括： 在根据所 述梳理操作对所述数据进 行梳理之后， 将梳理后的数据对应地插入到表级别信息表和字段 级别信息表内。 10.如权利要求9所述的数据导入中台的方法， 其特征在于， 在对所述字段进行分析， 根 据分析结果确定所述字段导入中台的方式之后， 还包括以下至少之一的步骤： 设定所述表权　利　要　求　书 1/3 页 2 CN 115438024 A 2级别信息表的生命周期、 确定是否对所述表级别信息表进行分区、 确定所述表级别信息表 导入中台的优先级。 11.如权利要求9所述的数据导入中台的方法， 其特征在于， 所述将梳理后的数据导入 中台， 包括： 生成用于将梳理后的数据导入中 台的导入代码； 执行所述导入代码。 12.如权利要求11所述的数据导入中台的方法， 其特征在于， 所述生成用于将梳理后的 数据导入中 台的导入代码， 包括： 获取所述字段级别 信息表内未 经更新的字段， 并存 入第一字段信息对象； 获取与所述字段相关联的表级别 信息表， 并存 入第一表信息对象； 获取与所述表级别信息表相关联的数据库信息表， 并存入第一数据库信息对象； 所述 数据库信息表用于存 储所述数据库的信息； 根据所述第一数据库信息对象和所述第一表信息对象在数据库和表级别信息表之间 建立第一映射； 循环遍历所述第一映射， 在指定的文件中生成所述 导入代码。 13.如权利要求12所述的数据导入中台的方法， 其特征在于， 将梳理后的数据导入中台 后， 更新所述字段级别 信息表中的更新标志信息和更新时间信息 。 14.如权利要求12所述的数据导入中台的方法， 其特征在于， 所述方法还包括对导入中 台后的数据进行跟踪检查的步骤， 所述对导入中 台后的数据进行跟踪检查， 包括： 获取所述字段级别 信息表中经 过更新的字段， 并存 入第二字段信息对象； 获取与所述字段相关联的表级别 信息表， 并存 入第二表信息对象； 获取与所述表级别 信息表相关联的数据库信息表， 并存 入第二数据库信息对象； 根据所述第二数据库信息对象和所述第二表信息对象在数据库和表级别信息表之间 建立第二映射； 根据所述数据库信息表访问数据库； 根据所述第 二映射遍历查找所述数据表， 并检查所述数据表中的数据与所述字段之间 是否存在差异。 15.一种数据导入中 台的装置， 其特 征在于， 包括： 权限分配模块， 用于根据用户的类型向其分配相应的异构数据源中数据库的访问权 限， 以使得所述用户基于所述访问权限访问所述数据库并对所述数据库中的数据输入梳理 操作； 数据梳理模块， 用于 接收所述梳理操作， 根据所述梳理操作对所述数据进行梳理； 数据导入 模块， 用于将梳理后的数据导入中 台。 16.一种数据导入中 台的系统， 其特 征在于， 包括： 后台数据库； 数据导入中台的装置， 所述数据导入中台的装置能够执行权利要求1至14中任意一项 所述的数据导入中台的方法； 所述数据导入中台的装置包括用于从异构数据源获取数据的 数据源IO接口和用于向文件中实现读写操作的文件IO接口。 17.一种电子设备， 包括存储器、 处理器及存储在所述存储器上且在所述处理器上运行权　利　要　求　书 2/3 页 3 CN 115438024 A 3