基于位存储Tid的Eclat算法GPU并行化与分布式研究

来源 :天津师范大学 | 被引量 : 3次 | 上传用户:l100890628
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在关联规则挖掘算法中频繁项目集挖掘(Frequent itemset mining,FIM)是十分重要的一步。典型的关联规则挖掘算法有Apriori算法、DHP算法、Toivoen算法、Eclat算法和FP-Growth算法等等。这些基于串型的传统关联规则算法在处理小数据和海量数据时在内存消耗和挖掘效率两方面均存在瓶颈,本文针对当前的应用场景及需求,从CPU并行化及分布式化两个方面对Eclat算法进行研究及改进。Eclat是基于垂直Tid(事务标识)列表的关联规则挖掘算法。本文分析了Eclat算法和相关改进算法的频繁项目集生成原理,在其基础上提出了一种基于位存储结构的CPU并行化Eclat算法(Bit Parallel Eclat,简称BPEclat),BPEclat算法中各个项目的事务Tid使用二进制位进行存储,同时采用并行化的挖掘模式,将挖掘任务分配到各个线程,最大限度发挥CPU的运算性能,实验证明BPEclat算法在提高了频繁项目集挖掘效率的同时也极大降低内存的消耗。为使算法适用于海量数据环境下的关联规则挖掘,将BPEclat算法与Spark框架进行深度融合,进一步提出了一种基于Spark大数据处理平台的BPEclat算法(Bit Parallel Eclat based on Spark,简称 SBPEclat)。SBPEclat 算法充分利用了 Spark框架在迭代计算和处理大数据方面的优势,同时为平衡算法挖掘过程中计算节点间的负载,算法中使用了负载均衡策略对等价类分组进行了优化,对SBPEclat算法进行的多组实验表明,基于Spark平台的BPEclat算法-SBPEclat算法对海量数据进行频繁项目集挖掘时性能表现优异。
其他文献
能源是人类生存和社会发展必不可少的基础性物质,在社会的发展和科技进步中扮演着重要的角色。随着全球人口数量的大幅度增长,传统化石能源的储量日益匮乏,无法继续支撑人类的可持续发展,给社会的发展和科技进步带来了极大的限制。因此,具有无污染,可再生的太阳能普遍得到了人们的关注。论文首先介绍逆变器的研究背景及意义,对光伏发电技术进行阐述,分析国内外光伏发展的研究现状。其次,论述交错并联式微型逆变器的基本拓扑
医学图像一直以来都是医生在诊疗中重要的临床依据之一。随着医学影像技术的不断进步和采集设备的更新换代,其重要性日益突出。如何对海量医学图像的深入分析并有效利用成为
空间钢盒式结构及其子结构——钢网格墙架和钢-砼组合空腹夹层板由于其优秀的综合力学性能和经济性,已广泛地应用于工业与公共建筑中。钢-砼组合空腹夹层板由表层混凝土薄板、上下肋和剪力键等组成。为进一步提高钢-砼组合空腹夹层板的承载力和传力效率,改变该结构中方钢管剪力键的截面形式,变为带翼缘的十字形剪力键。作为一种全新的结构形式,设计了一个5米×1米×0.2米的缩尺试验模型。以模型加工为例,详细介绍了新型
氧化锆固体电解质氧传感器,具有测量精度高、响应时间快、测量范围广、可以直接以电压形式输出等特点,因此在汽车电喷系统中,得到了广泛的应用。本文主要研究了将氧化铝作为
进入二十一世纪以来,交通工具智能驾驶技术发展迅速。目前,以Google为代表的自动驾驶汽车,包括特斯拉、Waymo、通用和Uber等,已经进入实际道路测试阶段。作为新型交通形式的
随着通讯技术的迅猛发展,越来越多的设备具有多个网络接口,并且可以配备多个网络地址。然而同一时刻用户只能选择一条接入链路,造成了网络资源的浪费。利用这些接口实现并行
糖尿病(Diabetes Mellitus,DM)是一种常见的内分泌代谢疾病,主要表现为胰岛素绝对或相对缺乏。它能够引起糖、脂肪、蛋白质代谢紊乱,以高血糖为特征,长期高血糖状态会导致患者各种组织器官,特别是眼、肾、心脏、血管、神经的慢性损害及功能障碍。其中,2型糖尿病(T2DM)在糖尿病总发病率中占到90%以上,也称为成人糖尿病,高发年龄段为35~40岁后,多伴有不同程度的胰岛素抵抗。胰岛素可以促
云南是我国少数民族最多的省份,在漫长的历史长河中,少数民族以聪明才智创造了璀璨丰富的文化。云南少数民族典籍是中国少数民族文化艺术宝库中的重要组成部分,源远流长的历史和神话传说、丰富多彩的民族文化、独具特色的风俗习惯和生态文化、博大精深的宗教文化、哲学思想和美学思想使其成为中华文化的瑰宝。云南少数民族典籍数以万计,目前翻译成外语并出版的典籍还仅是沧海一粟。云南少数民族典籍翻译是一项价值极高、意义深远
学位
本文运用关联理论探索云南省民间文学集成办公室编写的《白族神话传说集成》(节选)中部分篇目的翻译。对此类作品进行翻译研究有利于中国少数民族文化的传播和发展并对推动中国少数民族文学的翻译研究具有极高的价值。《白族神话传说集成》记录了大量与白族社会环境、风俗习惯和宗教信仰有密切联系的神话传说,是一本极具民族特色和研究价值的少数民族文学作品。在目前对少数民族作品的翻译研究中少有运用关联理论对少数民族文学翻
学位
目的:探讨蒙药尼达卡珠尔与头痛宁胶囊对血热型头痛患者的头痛发作次数、头痛程度、头痛持续时间、头痛伴随症状的影响,对比俩种治疗方法的疗效,从而为蒙药尼达卡珠尔治疗血热型头痛提供临床依据,为蒙医治疗血热型头痛的方法提供选择依据。方法:选取2018年12月-2019年12月期间,于内蒙古自治区国际蒙医医院脑病科门诊治疗的符合纳入标准的血热型头痛病患者60名,随机分配为实验组、对照组,各组30人。实验组给