基于位表的关联规则挖掘及关联分类研究

来源 :大连理工大学 | 被引量 : 16次 | 上传用户:robotech
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们利用信息技术生产和搜集数据的能力大幅度提高,数据资料的规模急速膨胀。如何快速有效的从海量数据中发现隐藏的、预先未知的信息和知识显得尤为重要,数据挖掘是解决这一问题的有力工具。关联规则(Association Rules)获取是数据挖掘研究的一个重要领域,从某种意义上来讲,关联规则挖掘就是数据挖掘的本质。近年来相关的研究与应用一直占有重要的比例并得到了迅速发展。研究如何快速有效的从海量数据库中挖掘蕴含其中的关联规则,并将挖掘得到的关联规则合理利用,具有十分重要的理论和实际意义。本文在分析现有挖掘算法中存在问题的基础上,提出基于位表的完全频繁项集和事务间频繁闭项集的挖掘算法,并进一步研究关联规则在分类问题中的应用,利用其解决遥感影像分类问题。本文的研究工作可概括为如下三个方面的内容:1、研究事务内完全频繁项集的快速挖掘算法。现有的完全频繁项集挖掘算法多基于Apriori算法,称为Apriori类算法。其在生成候选集须逐个比较两个项集的前n-1项,并且在计算支持度需对全部或部分数据库进行逐条扫描,占用大量的计算时间和I/O操作,成为此类算法的主要瓶颈。针对以上问题,本文首先提出了位表(BitTable)数据结构及其相应的二进制操作。利用其对事务数据库进行压缩,同时通过二进制“与”、“或”操作快速计算候选项集的支持度,改善了低效率的数据库扫描操作;利用其对候选项集和频繁项集进行横向压缩,可直接生成候选项集,避免了逐项比较的复杂操作。该数据结构及其操作可以直接应用于现有的Apriori类算法中,有效地改善此类算法的效率问题。在位表数据结构的基础上,本文进一步提出了基于位表的关联规则挖掘算法BitTableFI。对常用数据集的仿真试验表明了该算法的有效性。2、研究事务间频繁闭项集及其快速挖掘算法。相对于事务内频繁项集,事务间频繁项集能够有效的揭示各属性在不同时刻的关联性,是事务内频繁项集的扩展。然而事务间频繁项集的数量随滑动时间窗口的增大而迅速增加,造成挖掘效率降低,利用闭项集来表示事物间频繁项集能够在不丢失信息的情况下有效的减少项集的数量。本文通过分析事务内频繁闭项集和事务间频繁闭项的内在关系,提出了一种利用事务内频繁闭项集生成事务间频繁闭项集的算法。算法采用分割和条件数据库技术,有效的避免了生成庞大的扩展事务数据库,利用扩展的位表结构压缩事务从而提高支持度的计算效率。此外,采用动态排序和哈希技术极大地减少了频繁闭项集的测试次数。该算法为挖掘事物间频繁闭项集提供了一种有效而快速的算法。3、研究模糊关联分类算法,并利用其解决遥感影像分类问题。关联分类将挖掘获取的频繁项集应用于解决分类问题,将关联规则的挖掘和应用问题紧密结合。将模糊方法引入到关联分类问题中,能够较好的解决规则的“尖锐边界“问题。然而,现有的模糊关联分类算法多采用固定模糊隶属度函数对连续型属性进行模糊划分,没有考虑数据本身的特性。基于此,本章提出一种基于自适应区间划分的模糊关联分类算法—FARC(Fuzzy association rules classification),利用模糊c均值聚类算法根据数据本身的特点自适应地建立模糊区间,并在挖掘模糊关联规则时采用了新的剪枝策略,极大地减少了候选集的数量。新的规则权重度量方法能够更好的利用多模糊关联规则进行分类。对UC Irvine Machine Learning Repository测试数据的实验表明,FARC不仅是具有高精度的分类精度,同时具有对训练样本数量的不敏感性,在训练样本减少的情况下仍能保持较好的分类精度,是一种有效的分类方法。同时,本文将模糊关联分类算法引入遥感图像分类问题的研究中,在实际遥感分类问题中,训练样本往往较难获取,训练样本的不足会导致分类精度的下降,本文提出的FARC算法能够较好的适应训练样本较低情况下的分类问题,从而能够很好的应用于实际遥感分类问题。
其他文献
为了高效、准确地获取视频中的人体行为和运动信息,提出一种基于人体姿态的时空特征的行为识别方法首先在获取视频中各帧图像的人体关节位置的基础上,提取关节信息描述姿态变化
目的了解中山市综合医院门诊哨点就诊者性病发生情况和感染流行趋势,为制定中山市性病预防控制规划提供依据。方法依照《中山市性病监测工作实施方案》,对皮肤科、妇科、泌尿科
在我们所生活的世界中,物质的运动是连续的,流水、风、奔驰的汽车以及我们自身的运动都无时无刻不在证明这一点;不仅如此,能量的流动也是连续的,光的辐射、热的传递以及电磁波的传
若留心一下厨房中的炉灶、器皿以及做饭、炒菜中出现的现象。就会发现很多地方要用到物理知识。
要想知道飞机为什么要装"黑匣子",首先要弄清什么是黑匣子.多年来,随着空难事故频繁发生,记录飞行情况的黑匣子的作用便凸现出来.它里面装的是什么仪器?它怎么能帮助人们判断
黄昏时分,在南美法属圭亚那的亚利马波海滩上出现了一些蓝色的金属般的影子--一只只庞然大物正缓慢地离开大海游上岸来,它们一只接一只,一夜可达上千只.这正是雌海龟结束洋际
XML随着互联网的飞速发展应运而生,已经成为网络上数据表示和交换的基础。XML在各个领域得到广泛应用,研究人员在XML的存储模式、查询处理、以及文档索引等方面都进行了深入
高等学校用电需求较为特殊。通过高校配电系统的分析研究,完善学校供配电系统规划建设,加强供配电的安全性和可靠性。
制备了5052铝合金和8090铝锂合金的同质单搭自冲铆接头和同质单搭粘接-自冲铆复合接头。通过静力学试验获得各组接头的静失效载荷,并计算了各组接头的能量吸收值。分析了各组
功能基因组时代的到来使各种生物组学成为当下的研究热点,代谢组学为其重要分支。代谢组学关注的是代谢循环中分子量小于1 000的小分子代谢物的变化,反映外界刺激或遗传修饰