【摘 要】
:
在当今信息技术高速发展的时代,计算机技术在各个领域得到了广泛的应用,产生了大量数据,例如:工业领域中的生产设备数据。这些数据往往来自多个数据源,在数据的收集、加工、
论文部分内容阅读
在当今信息技术高速发展的时代,计算机技术在各个领域得到了广泛的应用,产生了大量数据,例如:工业领域中的生产设备数据。这些数据往往来自多个数据源,在数据的收集、加工、存储到数据库的过程中很难保证数据的一致性与完整性,容易产生数据不一致、空值等问题,进而影响数据的质量。高的数据质量不仅关系到数据的全面性、真实性,更是确保数据分析结果有意义的基本条件。因此,如何将不一致数据一致化以及如何对空值进行处理,以提升数据质量具有重要的研究意义以及应用价值。本文针对瑞典SSG公司(Standard Solution Group,SSG)的工业生产设备数据集,从数据不一致修正以及空值修正两个方面进行研究。针对数据不一致问题,本文提出了基于模板的不完备关系修正方法,引入模板作为标准,对不完备关系进行数据不一致修正;对于空值问题,本文提出了多维、多模式关联规则,利用数据间潜在的关联关系完成空值的修正。本文主要工作如下:1)提出了待修正的不完备关系数据与模板数据的查找方法。利用基于互信息、N-Gram以及信息熵的分词算法,对待修正的不完备关系数据进行分词处理,用分词后的结果集构建扩展B-Tree索引,利用模板匹配B-Tree索引,初步判定模板数据与不完备关系数据间是否存在对应关系。2)提出了基于模板的不完备关系修正算法,对不一致数据进行修正。人工构造模板的正则语言模式,利用正则语言模式结合模板数据生成相应的正则语言,通过正则语言判定不完备关系的不一致数据是否可以修正。3)提出一种基于多维、多模式关联规则的空值填补方法。利用基于前缀树(Prefix-Tree)的查找方法生成频繁前缀、频繁后缀,利用Apriori算法生成频繁项集,然后基于频繁项集生成三种形式的关联规则:项→项、前缀→项、后缀→项,利用生成的关联规则填补空值。4)以SSG公司的供应商数据对本文方法进行实验验证,实验结果表明,相比于现有的基于编辑距离的数据修正方法以及基于普通关联规则的空值填补方法,本文方法在不一致修正率以及空值修正率上都有所提高,分别达到46.01%、54.87%。
其他文献
Android手机操作系统提供了开放活动(Exported Activity,EA)机制,可以将应用内特定的Activity分享给其他的应用。如果开发者决定将某个EA开放,但是由于开发不够完善可能将一
玉米是世界上分布最广泛的粮食作物之一,干旱是限制其产量增加的重要非生物胁迫因子。玉米的整个生长发育进程分为苗期、穗期和花粒期,其中穗期是需水关键阶段,也是玉米产量形成的关键时期。因此,研究玉米穗期干旱胁迫对营养及生殖生长的影响,能够为完善旱作栽培技术体系和选育耐旱新品系提供理论支撑。本试验首先选用14个玉米骨干自交系为材料,筛选出干旱敏感自交系PH6WC(6WC)。进一步以6WC为试验材料,在拔节
在云计算中,保持服务连续性至关重要,而断电是最常见和最严重的威胁之一。为了提高断电情况下云的恢复能力,云数据中心通常部署了紧急电能供应。由于紧急供电有限,云服务供应
随着当前网络商业运营环境规模的不断增加,对计算资源的要求也是越来越高,云计算通过虚拟化等技术将硬件抽象成虚拟服务,降低了运营成本、改进了性能、提高了数据可靠性。云
在我国社会主义现代化建设不断加快的进程中,传统文化的重要性日益凸显。随着近年来故宫相关纪录片和系列综艺、游戏等的推出,以及故宫文创的“网红化”趋势,承载着中华文明厚重历史文化底蕴的故宫文化掀起了新的热潮。在当今日益成熟的新媒体环境下,故宫博物院的社会化媒体传播是其综合传播策略中极具代表性的部分,其中尤为重要的包括微博和微信两大类。本研究以故宫博物院的社会化媒体传播作为切入,探究故宫官方微博与微信的
近年来,随着移动网络和智能终端设备的飞速发展,人们在室内环境中的位置服务需求愈加强烈。从室内定位服务的成本,稳定性等因素考虑,目前比较成熟的定位技术有Wi-Fi指纹定位
电视机的智能化水平不断提升,给人们的日常生活带来了诸多变化。当前,电视机也像PC机与智能手机一样,成为一个平台,上面可以运行多种多样的应用,承载着海量的节目与内容。这
客户机/服务器模式是互联网中最基本的交互模式,服务器是网络资源的核心所在。Web、DNS等在互联网中被广泛使用的服务器可以称为“基础服务器”。及时掌握网络中服务器相关的
对于无线城市数据中的社团发现问题中团搜索(CS)算法运行过程生成大量重复团、生成结果冗余、算法时间复杂度较高、生成团结构成员间关联度过高等问题,重新定义团,并从优化边
移动通信技术的发展为人类带来了极大便利,同时也进一步刺激了人们对于移动通信的需求。分布式大规模MIMO技术因为其系统容量大、频谱利用率高等优点在学术界获得广泛关注。