基于Spark的CVFDT分类算法并行化研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:fafa1234567
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以提升流数据的分类挖掘效率为目标,研究将概念适应快速决策树算法(CVFDT)部署到流数据计算平台Spark上进行并行化的方案。设计了CVFDT基于Spark的并行化实现方案,首先对CVFDT算法进行属性间并行化改造,即分割点计算过程中的并行化;然后基于Spark在CVFDT的建树过程中将节点的所有属性列表转化为Spark特有的弹性分布式数据集RDD,通过计算由每个RDD生成的并行化任务,汇总并且比较每个最佳分割点,再计算Hoeffding边界作为节点分裂条件找到最佳分割点,从而递归创建决策树。实验结果表明
其他文献
中国古典诗歌与城市景观设计的联系作为研究基础,基于现代心理、美学、诗学原理,从两者的审美和创作的共同性入手。自古以来,诗词是文人的精神世界,诗歌创作中,诗人们通过对
目的探讨双歧杆菌三联活菌片联合肝酶诱导剂治疗新生儿黄疸的临床价值研究。方法选取2015年6月~2016年7月到我院就诊的新生儿黄疸患者100例作为研究对象,根据治疗方法的不同将
近几年来,房价节节攀升的势头似有所遏制,不想因房价下跌而导致业主“暴力维权”的事件却相继在一些地方上演,屡见不鲜。于是,一个颇具中国特色的名词应运而生,那便是“房闹
随着信息技术的不断发展,越来越多的中学物理教育从业者尝试将信息技术运用到中学物理课程中去。信息技术和物理课程整合一直是物理教育界一大热门话题,借助计算机、智能手机、互联网、传感器等技术,中学物理教师可以让学生的认知方式得到改善。在此背景下,中学物理教学的方式逐渐发生改变,中学物理教学的手段正在变得多元化。本文从信息技术和物理课程整合的角度出发,探讨基于开放式图形库“OpenGL”所开发的软件在中学
在全球化的语境下,外语教学将更加倾向于实践交流,实用性已成为外语教育的主要目的。因此,外语教师要有意识地加强文化意识的培养,拓展学生的视野,使学生对不同文化的理解化
概述了金、银两类贵金属及其钎焊工艺的发展。介绍了各类型饰品用金、银合金种类、特性和应用范围,并针对不同类型的金、银合金所适用的钎焊材料及钎焊工艺。首饰用贵金属合
本文提出了中国浅海沉积物化学元素丰度表,指出中国浅海沉积物是中国大陆沉积物在大陆架海底的再分布,是“海洋化的大陆沉积物”;基于元素丰度比较,中国浅海、半深海冲绳海槽
在重力勘探中利用概率成像新方法处理数据,在东北某矿区实测重力剖面数据,在常规处理解释中遇到很多不确定性.而概率成像以及重力梯度概率成像的新方法解决了在实际工作中无
甲状腺功能亢进(甲亢)最常见的是原发性甲亢(Graves病.GID).颈部无疤痕腔镜甲状腺手术(SET)在治愈甲亢的同时具有良好的美容效果.SET的适应证同开放手术相似.无美容要求的患者是SET
目的:建立鹿红颗粒中黄芪甲苷和羟基红花黄色素A的含量测定方法。方法:采用HPLC-ELSD测定黄芪甲苷含量,Kromasil C18色谱柱(4.6 mm×250 mm,5μm),流动相乙腈-水(34∶66),流