(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210929797.8 (22)申请日 2022.08.04 (71)申请人 深圳市共赢晶显技 术有限公司 地址 518109 广东省深圳市龙华区大浪街 道新石社区华宁路38号港深创新园G 栋646-647 (72)发明人 叶子维　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 刘洁 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01)G06F 16/2453(2019.01) G06F 16/2458(2019.01) G06F 16/906(2019.01) G06F 9/50(2006.01) (54)发明名称 一种数据处 理和存储方法 (57)摘要 本发明公开一种数据处理和存储 方法， 涉及 数据处理技术领域， 解决的技术问题是数据处理 和存储， 本发明采用以下技术方案， 一种数据处 理和存储 方法， 包括以下方法： 步骤一、 在控制器 作用下从数据库中获取数据信息， 对获取到的数 据信息进行预处理； 步骤二、 将预处理后的数据 信息存储 起来， 通过HB ASE+HIVE+SPARK存储模 块 实现数据信息存储； 步骤三、 在数据存储过程中 通过软聚类算法模型实现数据信息分类， 提高数 据信息处理能力； 步骤四、 对处理后的数据信息 通过调度算法实现数据信息调度。 本发明能够提 高数据信息处理和存储能力， 提高用户利用数据 信息的能力。 权利要求书4页 说明书12页 附图7页 CN 114996362 A 2022.09.02 CN 114996362 A 1.一种数据处 理和存储方法， 其特 征在于： 包括以下 方法： 步骤一、 在控制器作用下从数据库中获取数据信息， 对获取到的数据信息进行预处理， 并控制数据库数据信息的持续 性读入和读出， 不断对数据库中的数据信息进行 更新； 步骤二、 将预处理后的数据信息存储起来， 通过HBASE+HIVE+SPARK存储模块实现数据 信息存储， 其中HBASE+HIVE+S PARK存储模块内设置流 量计算模块和并行计算模块； 步骤三、 在数据存储过程中通过软聚类算法模型实现数据信息分类， 提高数据信息处 理能力； 步骤四、 对处理后的数据信息通过调度算法实现数据信息调度， 未调度的数据信息被 存储起来， 处理后的数据信息被传递。 2.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： 控制器为ARM32位的 CortexTM‑M3 CPU处理器。 3.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： 不断对数据库中的数 据信息进行更新的方法为： 设置数据输入间隔时间， 通过数据协议识别数据传输过程中的 数据信息， 并通过 数据过滤模块对数据库中的数据信息过 滤。 4.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： HBASE+HIVE+SPARK存 储模块包括HBASE模块、  HIVE模块和S PARK模块。 5.根据权利要求4所述的一种数据处理和存储方法， 其特征在于： HBASE+HIVE+SPARK存 储模块实现数据存 储的方法为： （1） 数据信息写入： 首 先通过文件信息进行 数据信息写入， 在不同数据库的客户端中， 通过调用函数实现数据信息的调用， 将接收到的数据信息不同文件信息输出到HBASE、 HIVE或者SPARK数据库中，  FSData Output Stream 将接收到的文件信息分成若干个小包， 在不同数据库的数据节点之间实现数据信息的交 互； （2） 数据信息的读取， 通过调用open函数， 向与该数据函数互通的架构节点发出数据读 取请求， 通过 各个数据库内设置的元 数据节点， 能够获取文件内部蕴含的数据块信息； （3） 数据存储， 在进行数据存储时， 调取区块的数据程序， 当前的区块数据流断开后， 通 过选择数据节点获取 数据块， 然后调取cl ose函数阻断当前的数据流完成数据的存 储。 6.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： 流量计算模块为多数 据流协同计算模块， 实现方法为： 步骤一、 建立数据流协同计算模型， 分别在HBASE模块、  HIVE模块和SPARK模块中计算 多数据流 量数据信息， 如公式 （1） 所示： （1） 在公式 （1） 中， 表示多数据流量数据信息输出模型， 表示数据更新函数，权　利　要　求　书 1/4 页 2 CN 114996362 A 2表示计算次数， 表示计算总数， 表示数据更新函数有效角度， 表 示在时间 下的数据通信 协议更新参数； 表示多数据流量数据信息库； 表示多数据流 量数据信息库中的信息种类； 步骤二、 构建全局函数； （2） 在公式 （2） 中， 表示全局函数输出值， 表示全局函数工作过程中的稳定性系 数， 和 为不同数据库信息下的数据参数； 步骤三、 构建本地 函数数据信息， 如公式 （3） 所示： （3） 在公式 （3） 中， 表示滑动窗口中数据的内积， 表示数据流的条 数。 7.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： 并行计算模块包括数 据特征提取模块、 HBASE模块接口、 HBASE模块接口、 SPARK模块接口、 时序匹配模块、 缓冲器 SN74LVTH16245、 DSP  TMS320C6713、 CY7C1061  SRAM模块和AM29LV800B  FLASH模块， 其中时 序匹配模块设置有相关系数。 8.根据权利要求7 所述的一种数据处 理和存储方法， 其特 征在于： 相关系数函数为：    （4） 在公式 （4） 中， 表示滑动窗口中数据的内积； 表示相关系数方阵的空间转换系 数， 将 阵阶数抽象成到一个计算网格之中， 配置相关系数， 得到特定滑动窗口， 设置线程 块索引方式， 对这8条数据流相关系数方阵索引， 在所有线程块中， 使用 个线程并行 计算方式， 对应滑行窗口中的 个数据位积， 采用协议算法计算滑行窗口中的 个位积之和， 并分段累加， 得到 ， 由任意数据流中相关系数获取最终数值； 当线程块中 行、 列索引存在数值关系， 即行索引≤列索引时， 线程块将不在下三角数 组中； 通过公式 （4） 中的直线表达式 ， 精确计算数据流的多数据流相关系数。 9.根据权利要求1所述的一种数据处理和存储方法， 其特征在于： 软聚类算法模型的工 作方法为： 软聚类算法模型如公式 （5） 所示：权　利　要　求　书 2/4 页 3 CN 114996362 A 3