基于MapReduce计算框架的蚁群优化聚类算法设计与改进研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:Cena0723
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为一种典型的聚类算法——蚁群优化聚类,借助其较强的鲁棒性、易于与其他方法结合等特点,在各领域都得到了广泛的应用。而随着互联网的快速发展,数据规模的急剧增大,传统的蚁群优化聚类方法在处理大规模数据时存在内存不足、不能充分体现出蚁群算法并行优势、无法处理分布式数据等问题。Google公司提出的MapReduce计算框架是处理大规模数据的一个可选方案,在国内外的科学研究中,已有很多人研究基于该框架的聚类算法,并取得了很好的效果。因此,基于MapReduce计算框架对传统的蚁群聚类算法进行设计、优化具有重要的意义。本文首先对聚类分析算法做了详细的总结和介绍,从数据挖掘到聚类分析算法分类,再到ACOC聚类算法,分析和总结了当前常见的聚类分析算法,并针对ACOC聚类算法分析其优缺点;随后对MapReduce计算框架做了简要概述,并介绍了用于本实验的Hadoop平台的搭建工作。本文的重点是提出了一种基于MapReduce计算框架的蚁群聚类算法MR-ACOC,该算法通过将搜索空间复制和搜索空间分块进行结合,既解决了大数据的处理问题又体现了蚁群算法的并行机制;算法分别逐行读取信息素和数据,避免了数据规模过大时一次性读入信息素造成系统内存不足的风险。另外,为了提高算法的执行效率,本文通过对数据类簇和中心节点模块进行拆分、在目标函数值计算模块以及确定中心点模块中添加combiner函数、将数据源换成]Hbase数据源等方式对MR-ACOC算法做了进一步的优化。通过实验表明,该算法在处理大规模数据时具有很好的可扩展性和加速比。
其他文献
在人本主义理论视角下,大学英语教学和大学生思想教育之间存在着辩证统一的关系。一方面,大学生思想教育为大学英语教学提供了理论指导和目标;另一方面,大学英语教学成为大学
本文采用正交试验方法,进行了TCA和Sevage两种方法对螺旋藻多糖蛋白脱除效果的研究。结果表明:TCA浓度8%,螺旋藻多糖提取液与TCA的体积比1:1,蛋白脱除次数3时TCA法对藻多糖蛋
<正>~~
会议
同形异义词和多义词是英语中的普遍现象,但这两个概念却十分容易混淆,为语言学习者和研究者带来了很大的不便。传统意义上的语义学的研究对象主要局限在词的层面上,若想区分
飞行器设计的一个重要目标,就是要优化流场分布,减少阻力,增加升力,提高飞行器的升阻比,飞行器在高、亚音速巡航时,摩擦阻力超过了总阻力的一半,1%阻力的降低,将大约提高10%
随着信息技术的迅速发展,信息化教学得到了广泛的应用,与之相关的教学设计也逐渐被重视。该文从教学目标、学习环境与资源、学习情境、活动组织等6个方面重点介绍了信息化教
随着经济全球化发展的脚步日益加快,各种商业会展类型经济成为城市经济的一个重要支柱。自功能翻译理论被用来指导商业会展英语翻译后,翻译目的论给商务会展翻译研究提供了一
目的探讨一步扩张法建立微创通道经皮肾镜取石术(MPCNL)治疗上尿路结石的有效性和安全性。方法回顾性分析2011年2月-2015年3月该院一步扩张法建立微创通道经皮肾通道治疗上尿
目的研究中医护理干预在脑梗死患者早期康复治疗中的疗效。方法按照随机数字表法将72例脑梗死患者随机分为观察组与对照组各36例。对照组采用常规护理,观察组采用中医护理方
目的比较置入三尖瓣成形环及三尖瓣人工瓣膜治疗功能性重度三尖瓣关闭不全(TR)的早期及晚期效果。方法回顾性分析2008年1月至2013年1月合并左心系统瓣膜病变的功能性TR患者80