云计算环境下构件资源聚类技术研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:zybzsj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着软件复用及应用的深入研究,可复用软件构件库作为软件复用的一项重要基础设施已经越来越得到产业界与学术界的重视。构件的查询是构件库的基本功能,利用聚类技术对构件进行聚类,可以实现构件的自动分类,有效地提高构件的查询效率。目前,Internet上出现了很多专门的构件库,但是各个专用的构件库由于对构件的表示以及组织形式上各不相同,使用不够灵活。现在对分布式构件库方面的研究,提高了构件的管理和访问效率,并且采用XML技术有效地解决了异质构件库的检索问题,但构件资源的规模随着应用的推广会不断扩大,负责存储构件的中心服务器的存储能力是有限的。此外,提供服务的增长给计算资源带来相当大的压力,当负载过重时,查询构件的效率会降低,并且传统模式中聚类方法在处理海量、高维和稀疏的数据上存在不足,这已成为当前研究的热点也是一个待解决的难点。   针对分布式模式的构件库所存在的问题,由于云计算所具有的可扩展和高性能计算特性,将云计算技术运用到构件技术研究中,探讨利用云存储将网络中的构件资源组织起来,设计在云计算环境下的构件资源的检索架构,着重研究这种架构中的构件聚类技术。针对传统聚类方法在处理大规模数据上的不足,对聚类算法性能产生了很大的负面影响,结合MapReduce并行计算的研究,在云计算平台Hadoop上设计并实现了基于MapReduce的聚类模型。为了减少I/O操作和CPU的性能瓶颈,通过调整算法输入参数和集群数量对设计的算法进行了优化。这在很大程序上改善了数据处理和聚类算法的可扩展性和性能要求。   分别从数据规模、节点数量和不同任务粒度对系统性能的影响,以及对聚类中两种相似性计算方法的性能进行了比较,实验结果表明MapReduce框架提高了大型数据集的吞吐效率,可以有效减少计算时间,基于Hadoop实现聚类算法具有较高的扩放性和灵活性,能有效解决聚类处理中数据规模问题和实时性问题;通过调整Hadoop的实现来确定数据大小阈值和每个节点需要的计算任务,实验结果表明每一项任务都有其最佳节点规模,过多的任务粒度同样会对性能造成负面影响。
其他文献
目前,不同领域的企业都大力推行信息化,信息中心的网络环境也不尽相同,现有的IT资源监控系统已不能适应不同用户的需求。本文研究面向SaaS的IT资源综合监控系统,系统从数据存
随着网络技术与计算机图形学的发展,三维模型已经在虚拟现实、医学立体影像处理、三维影视产业、地理信息系统等领域得到广泛应用。三维扫描技术的发展使得三维模型绘制越来
高清体绘制的算法研究要求高质量、高效率的绘制体数据的数据特征。直接体绘制方法在GPU并行加速的支持下能够达到高质量、实时可交互的绘制,但是对用户感兴趣区域的绘制往往
战术Ad hoc是用于战术通信环境的移动Ad hoc网络,在战场指挥通信领域有着广泛的应用前景,其中两栖作战就是一个重要的战场应用环境。结合当今世界对两栖作战有着现实需求,因
当采用成像设备进行拍摄时候,经常会出现在同一个场景中的多个不同目标,当距离差距较大时候,总是存在一些目标清晰,而另外一些目标模糊,想获得所有目标清晰是很困难的事情。但是对
神经元脉冲信号的建模与预测是神经科学领域的重要研究问题。通过神经元建模来分析脉冲信号的发放特点,有助于研究学者们更加深刻地理解大脑在执行高级认知任务中的工作方式
为了提高物理资源的利用率,虚拟化技术得以普遍运用。通过运用虚拟化技术,单台服务器上可以整合许多虚拟机来为用户提供各种服务。为了保证用户的良好体验,这台服务器对硬件
随着社会网络化和信息化的迅猛发展,在许多领域积累了海量的数据,如何降低这些数据的维度,从中选择出有用的特征,一直是海量数据挖掘的重要研究课题。基于Rough集理论的属性约简
随着移动GIS技术、可定位技术、多媒体技术、无线通信技术和移动终端技术等的迅猛发展,具有可定位信息的视频越来越受到人们的关注。可定位视频是将视频数据与空间数据集成,融
软件行业的不断规范化,不断完善化也随之带动着软件测试行业的不断发展。软件测试工作也由原始的纯手工测试逐步演变为规范化,程序化也是必需化的工作。软件测试工作在软件生