数据迁移与清洗的策略研究及其在政务基础数据的应用

来源 :五邑大学学报:自然科学版 | 被引量 : 0次 | 上传用户:lelefeng123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同时自动生成清洗报告.本文构造的数据迁移与数据清洗的策略可应用于数据量大、数据类型复杂的数据上,能提高数据质量,满足数据共享和数据分析的要求.
其他文献
为研究某房间空调器压缩机转轴外柱面的耐磨特性,设计了面向该型号压缩机转轴的摩擦磨损试验机.针对目标试验转轴的几何结构特征与压缩机的运行工况,采用“轴-V形作用块”线
为提高动力集中动车组在新疆恶劣环境运营的适应性、舒适性、可靠性与安全性,研究了时速160公里“复兴号”动力集中动车组在高温、强风沙、大温差、高寒等环境下的运营应对措
近年来,江苏灌南县财政局紧紧围绕中央和省市县关于打赢脱贫攻坚战的各项决策部署,紧扣壮大经济薄弱村集体经济、促进低收入农户增收两大核心任务,强化政治担当,压实主体责任
本文针对传统手工包装大块砖茶存在的效率低、卫生条件差等问题,设计了一种大块砖茶自动包装生产线.首先,对手工包装流程和砖茶包装工艺要求进行了研究,根据该包装机的功能要
为探究激光三角法测量内径时的准确性,以30 mm的内孔零件为试验样本,通过控制测量装置移动,建立其与传感器示值的映射关系模型.分析激光三角法测量内径时影响精度的因素来源,并对其进行不确定度评定.结果表明:在物面倾角小于10°时,基于激光三角法进行内表面测量的不确定度为0.009 mm,其扩展不确定度为0.018 mm.实际测量验证了激光三角法测量内径的可行性,拓宽了激光三角法在曲面测量的应用.
为进一步实现轨道车辆轻量化,本文首先对3D打印连续碳纤维复合材料进行了研究.然后,基于ABAQUS对用3D打印碳纤维复合材料制造的轨道车辆端部结构进行了仿真,分析了该构件的碰
为了确定安装在纸角推送机构上的弹簧钢片的最佳厚度,分析了不同厚度弹簧钢片在100 mm/s纸角碰撞下的弯曲变形.根据实际工况建立纸角推送机构的简化模型,利用有限元对纸角以1
本文设计了一套用于高校校园内回收分类垃圾的垃圾桶监测系统.硬件上以STM32为控制器,利用NB-IoT技术实现各终端间的数据传输,并加入了垃圾自动封装功能、满溢检测功能以及用
[摘 要 ]文章通过对京能康巴什热电(以下简称康电)1、2号机组实行一点式自动加药时出现给水pH值波动较大的原因进行深度分析,通过增加凝结水、给水流量、机组负荷反馈信号、不断优化自动加氨控制参数及控制程序,实现机组给水加氨自动控制,达到稳定给水pH值、提高给水质量、降低热力设备腐蚀的目的。  [关键词]给水加氨;自动控制;优化改造  [中圖分类号]TM621.6 [文献标志码]A [文章编号]2