基于Spark的大数据离散化算法研究

来源 :黑龙江大学 | 被引量 : 0次 | 上传用户:qian7122011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,"大数据"已然成为了一个21世纪的关键词,它具有推动科学技术发展,社会生产生活的巨大潜力。在短短的数年间成为信息技术与其他相关科研领域的研究热点。离散化是这些数据分析预处理阶段最重要的任务之一,其目的是在尽可能多保留数据原始信息的情况下,对连续值数据进行简化和约简,提高分类精度,并促进底层的学习过程。大数据的特性(规模庞大,数据复杂,消耗计算资源等)使得传统的离散化算法在目前的传统计算架构与算法模型中表现差强人意。本文设计了两种基于Spark-MR编程模型的分布式离散化算法:DHLG和DSK,DHLG利用信息论理论中的海林格熵度量离散区间的散度,根据离散区间的散度值提供的信息量,选择top-k个边界点将连续变量范围划分为k个离散区间;DSK是一种利用无监督分类进行离散化的算法,通过AP算法优化离散子域的选择,SOM神经网络竞争优化聚类簇心,KMEAS聚类将连续特征属性的变量范围划分到k个离散子域中。在真实传感数据集上的实验结果表明,本文提出DSK和DHLG算法与现有的同类算法相比,具有更优的时间性能和离散值质量。
其他文献
“80后”作家是新世纪以来中国文坛上重要的一个群体,他们从诞生到命名都备受瞩目,而成长小说作为备受“80后”作家们“青睐”的体裁,作为一种“内向化”的书写范畴,对于展示一代作家的书写风格、一代人的精神风貌和一个时代的特色风韵都具有深厚的意义。“80后”作家们在他们的小说里描摹“成长”的各种状貌:残缺的家庭、疏离的人际、多元的校园生活;在他们的小说里想象都市和回望村镇……这些主题像一块块拼图,为读者
目的:探讨精油凝胶联合非热康普治疗仪治疗在改善动静脉内瘘血流量的治疗效果及远期并发症的影响,寻找血液透析患者更科学、有效的自体动静脉内瘘护理新方法,提高维持性血液
伴随着创新驱动战略的实施,中国的R&D投入也日益增加。但值得注意的是,既有文献对中国R&D活动与全要素生产率关系的讨论仍然存在不小争议。这主要是由于,现阶段中国大量的R&D经费投入似乎并没有带来全要素生产率的显著提高和经济增长质量的提升,中国面临了一定程度上的“科技创新困境”。同时,以多次“降准”为代表的内部不确定性和以中美经贸摩擦为代表的外部不确定性因素叠加,使得创新环境
乙烯基取代的含氮杂环应用广泛,是药物的常见组成部分。乙烯取代的扭曲型酰胺属于氮杂桥环化合物,因其酰胺键位于桥头处,双环结构使原本在同一平面上的酰胺键发生翻转扭曲,具有了一定的扭曲角度,这样独特的结构使得扭曲型酰胺有着特殊的物理化学性质。乙烯取代的噁唑啉是杂环化学中不可或缺的一个分支,对于具有生物活性的农药和医药合成具有重要意义。本文主要采用烯丙基叠氮重排反应和分子内Schmidt反应来选择性地合成
通过增加系统中发射天线和接收天线的数目,大规模多输入多输出技术(Multiple-input Multiple-output,MIMO)能够显著提升系统的数据传输速率,传输可靠性以及频谱效率,成为了 5G无线通信系统中的关键技术之一。信号检测是Massive MIMO系统中信号处理的重要组成部分,其性能将关乎整个系统的通信质量。最大似然检测(ML)算法以最高的计算复杂度获得了最优的信号检测性能。为
在绩效管理过程中,绩效评估公正感是判断绩效评估有效性的衡量标准之一,对于员工激励和其是否采取有利于组织的行为等有着重要影响。绩效评估公正感具有不同的维度,其中,系统程序公正感和评估者程序公正感分别反映评估系统与评估者执行评估程序是否公平,而分配公正感反映评估结果是否公平。随着主观业绩评价越来越受到重视,学者也更加关注其运用对于绩效评估公正感的影响。为了尽可能提高绩效评估的公正感,综合业绩评价强调在
城市基础设施建设是一个城市发展的基础,对区域经济、政治、文化、环境等发展具有举足轻重的作用,随着城镇化进程的加快,城市人口激增,对基础设施的要求也日益提高,目前的经
食品安全关系到人民的民生问题,对国家的稳定和经济可持续发展也具有巨大影响。习近平总书记在最新的十九大报告中指出:要实施食品安全战略,让人民吃得放心。肉制品营养丰富,
在我国,有关胎儿权益保护的问题一直争议不断。胎儿是自然人生命体发育的一个阶段,对胎儿的保护即间接地保护了即将出生的自然人。改革开放初期的《民法通则》中并没有特别规定保护胎儿权益的相关内容,也就是说在2017年的《民法总则》通过之前,胎儿在民法上的利益是很难被维护的。虽然《民法总则》第十六条给予了胎儿遗产继承、接受赠与等方面的保护,但是这一规定也存在理论不自洽和欠缺操作性的问题。司法实践中,关于胎儿
本文以赖斯的文本类型理论和奈达的功能对等理论为指导,以美国著名的教育社会语言学家考特尼·B·卡兹登的著作《交际能力,课堂互动和教育公平》的第一章的前四节作为翻译材料,探讨信息型文本的翻译标准和策略。通过网络搜索,译者发现国内目前还没有该书的中文版本。译者在开始翻译前对源文本类型和翻译难点进行了分析,决定采用赖斯的文本类型理论和奈达的功能对等理论为指导进行翻译实践。《交际能力,课堂互动和教育公平》一