基于Spark的并行化高效用项集挖掘算法

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:lutiaotiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统基于链表结构的Top-K高效用挖掘算法在大数据环境下不能满足挖掘需求的问题,提出一种基于Spark的并行化高效用项集挖掘算法(STKO)。首先从阈值提升、搜索空间缩小等方面对TKO算法进行改进;然后选择Spark平台,改变原有数据存储结构,利用广播变量优化迭代过程,在避免大量重新计算的同时使用负载均衡思想实现Top-K高效用项集的并行挖掘。实验结果表明,该并行算法能有效地挖掘出大数据集中的高效用项集。
其他文献
立足于"互联网+"时代背景,本文以四家互联网保险公司为例,总结我国互联网保险业态的运行特点、管理特征、产品创新种类和发展现状,并进一步剖析互联网保险产品开发创新、营销
目的:采用高血脂症模型大鼠探讨罗勒提取物对血脂调节功能的影响。方法:采用高脂乳剂造成高脂血症模型大鼠,给药一个月后,腹主动脉采血,测定胆固醇(TC)、甘油三酯(TG)、高密
<正> 道德风险监管可以说是近年来金融监管中使用频率上升速度最快的一个词。那么什么是道德风险?道德风险在商业银行有些什么表现形式?在金融监管中如何防范商业银行道德风
探讨了高大空间结构施工中高支撑模板支架体系的优化计算方法,引入计算程序,在确保安全性、经济性的前提下,快速准确地确定搭设参数,并输出计算过程。
进入2007年,房地产界依然热闹非凡,清算土地增值税、“两会”热议房价、《物权法》通过、北京上马“两个一千万工程“、广州单位自建房回潮。其实,2006年房地产界就已发生了一些
<正>一、课题的提出:(一)研究背景:1、课堂是提高教学质量的主阵地,教学质量是学校的生命线,是每个教师工作的出发点和落脚点,最能体现一个教师个人的价值。细节是课堂教学环
会议
透过2009年8月17日俄罗斯萨扬.舒申斯克水电站机电事故,分析了目前国内水电站机组进水口事故快速门控制系统的现状,分析了存在的问题,给出了提高水电站机组进水口事故快速门
云计算作为IT技术发展到今天的必然产物,已经得到越来越广泛的应用,电子商务在云计算模式下迎来了新的机遇。在对云计算的概念及其特点研究的基础上,探讨了在云计算模式下电
禽畜屠宰废水具有机物含量高、可生化性较好等特点,因此生化处理是禽畜屠宰废水的主要处理工艺。文章概述了禽畜屠宰废水的处理工艺和目前我国禽畜屠宰废水处理工艺的应用,介
<正>【文题展示】5.梦想没有有效期【命题分析】"梦想没有有效期",中心词显然是"梦想"。"梦想"这样一个话题,对现在的学生而言似乎很贴切,却又似乎很遥远。关于"梦想"的作文
期刊