数据分析和清理中相关算法研究

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:q4828079
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据清理的一个主要作用是识别重复的记录.结合过滤算法和启发式剪枝算法提出了启发式剪枝改进算法.然后,针对重复记录的特点提出了长度约束条件,能有效地提高比较字段不等长时的执行速度.数据库中经常会出现各种形式不同的缩写,而启发式剪枝算法等无法识别缩写情况下的重复记录,本文因此提出了基于动态规划的缩写发现算法,该算法既可以用于缩写发现也可用于缩写存在时的重复记录识别.另外,重复记录的甄别目前必须人工处理,传统方式下用户不得不逐条浏览和分析,工作时间冗长而且乏味,容易引入新的数据质量隐患,作者提出了聚类清除方案和聚类闭包算法,它将重复的记录聚类显示,用户一次可以处理完一个重复聚类,在有效提高速度的同时方便了用户.
其他文献
膨胀剂的膨胀效能受到诸多因素的影响,比如环境温度、湿度、混凝土胶凝材料构成及混凝土强度发展速率等,膨胀剂在使用过程中有其最佳应用条件。本文着重探究养护温度对膨胀剂
<正>苏(Sue)挣脱妈妈,"跑"向木偶房子——她自己说是"跑",但其实她连走还走不稳呢。妈妈说,这个木偶房子是苏的最爱,"每次我们一到这儿,她都会去找这个木偶房子"。然后,妈妈
开发了一种近距β粒子痔疮治疗仪(或称β粒子痔疮敷贴器)。该仪器由照射器、定位器、升降器、屏蔽套和控制器等部件组成,可用于治疗内痔、外痔、混合痔、肛裂、肛窦炎等多种肛
人类与其他灵长类动物一样都有毛发,但经过数百万年的演化,形成现代人种的毛发特征及分布特点,与人类的进化是密不可分的。这些毛发具有防护、保暖、引流、触觉、分泌、散热、御
文章通过对冰雕实践教学课程的阐述,从中国民间艺术的色彩、造型、题材等几个方面提出了将中国民间艺术元素融入到冰雕实践教学的重要性,让传统文化在冰雕艺术中得到更新和拓
我国高等级公路中的长隧道从安全角度考虑都设置了紧急停车带。由于紧急停车带内轮廓空间尺寸与隧道整体断面尺寸差异较大,二次衬砌台车无法对停车带位置直接进行整体浇筑,因
现场就是市场.中小企业在竞争日益激烈的环境下,如何谋求市场优势?如何保持企业的竞争力?笔者从现场改善的"55"管理活动入手,通过生产现场的不断整理、整顿、清扫、清洁、修
分析当前生产中杂交水稻种子发芽率偏低的原因,提出六项应对措施。
采用超滤法纯化金银花提取液中的绿原酸.考察膜的截留相对分子质量、操作压力、原料液浓度以及pH等因素对超滤效果的影响,探讨膜通量的衰减规律,并将优化后的结果与醇沉法比