基于关联规则的频繁模式挖掘算法研究

被引量 : 3次 | 上传用户:wzjjp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关联规则是数据挖掘中的一个重要研究领域,随着信息技术和物联网技术的快速发展,相关的应用中产生的数据量在快速的增长,数据内容也越来越全面,各行业对相应数据的关联规则挖掘分析也越来越重视,同时人们希望能够快速获取有价值的知识,这使得关联规则挖掘的效率问题尤为突出;而且各行业又希望能够及时挖掘与分析当前获取的数据,这也使得针对数据流的关联规则挖掘研究越来越重要。鉴于静态数据挖掘和数据流数据挖掘中获取频繁模式效率低的问题,本文围绕关联规则进行了一系列分析与研究,首先简要分析了数据挖掘技术和关联规则的基本知识,主要包括对应的种类、方法与挖掘步骤等;接着详细研究了基于关联规则的Apriori算法与FP-Growth算法;然后基于对典型的挖掘算法和最新研究成果的探索与分析,提出了改进的频繁模式挖掘算法:(1)在静态数据挖掘中,提出了基于矩阵加权的VMOApriori算法。针对Apriori算法中I/O负载大、计算速度慢和减枝过程中产生很多冗余项集的性能瓶颈问题,首先扫描数据库生成事务矩阵,然后通过事务矩阵及其向量运算得到频繁项集,避免了Apriori算法中的重复扫描数据库的操作,减少I/O负载;并根据Apriori算法的性质,对事务矩阵中事务及事务项进行删减,减少了候选项集的冗余,加快频繁项集的筛选速度。最后,通过实验证明了算法的挖掘效率得到了提高。(2)在数据流数据挖掘中,提出一种基于分布式滑动窗口的频繁模式并行挖掘算法。针对数据流中的频繁模式挖掘效率低的问题,基于Hadoop云计算平台,将滑动窗口运用于Map/Reduce模型中,在分布式节点构造TPT-Tree,釆用尾节点和尾节点表来提高窗口内数据更新效率;并利用Hash结构处理结果项集,充分利用云计算强大的存储和并行计算能力,该算法能够大幅度提高频繁模式的挖掘效率,显示了良好的加速效果。
其他文献
作为新兴市场的印度,证券市场的发展基础较好,其国际化也比较成功。目前,印度证券市场的国际化已经走在了中国前面,其国际化的一些措施值得借鉴。本文在介绍印度证券市场发展
某废弃铅冶炼厂位于当地拟运行水库正常蓄水水位以下,为了保障水库的供水安全,本文以该废弃铅冶炼厂场地土壤为研究对象,对其重金属污染现状进行调查评价,为该污染场地的土壤
<正>2005年1月26日,中国银行新闻发言人王兆文披露:1月上旬,中国银行黑龙江省分行发现该行所辖河松街支行的存款业务有异常表现,涉嫌金融诈骗,立即报案。该行行长高山以跳票
为了增强油酸钠体系下白钨矿的浮选行为,通过浮选试验考察了一种非离子型聚氧乙烯醚JFC-5对白钨矿在10°C时可浮性的影响。与单独使用60 mg/L油酸钠时相比较,当pH=10,添加质
东西的小说创作题材同其本人的生活经历一样,经过了从农村到城市的变迁,再加上东西在其近三十年的创作历程中,不断的进行探索,不断重新审视对历史及现实的认识,由此使得他的
高强度铸造Al Cu合金具有良好的室温和高温强度 ,但它的热裂倾向性一直是制约其发展的瓶颈。通过对合金的收缩应变和热裂抗力及准固态力学行为进行测试 ,研究了微量合金元素
研究目的:水彩的“水”与“彩”的特征赋予了与其他绘画技法截然不同的特性,其表现效果可干后重叠,可透明艳丽。水彩插画是研究水彩技法在插画中的特性。插画是一种对于现实
自2008年国际金融危机爆发以来,很多国家都在不断地培育和发展新兴产业或高技术产业作为新一轮国家经济和科技发展的重大战略项目。我国则为了应对这次危机,不断地听取相关经
以伍鸿熙教授的五个基本原理为指导,以两个典型教学案例为载体,探讨培养学生数学推理能力所包含的两个重要方面:其一,推理能力的培养必须建立在学生理解精确定义的基础上;其
针刺角度对临床效果的影响北辰中医医院徐志凤针刺角度是直接影响针刺疗效的重要因素之一。迄今为止,很多针灸著作只能调腧穴的某一种角度,而忽视了针刺角度。然而同一腧穴采用