基于网格的聚类PSE及调度研究

来源 :扬州大学 | 被引量 : 0次 | 上传用户:lgb0532
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聚类分析是数据挖掘的核心技术之一,但现有的多种聚类算法在编程语言的选用、对外提供的接口上存在着很大差异,这些差异给应用聚类方法分析问题的研究人员带来了不便。问题求解环境(Problem Solving Environment, PSE),目前计算机应用领域的研究热点技术之一,它以一致的接口提供研究某类问题的多种技术和方法。为提高聚类分析的研究效率,便于应用人员研究及使用各类聚类方法,本文提出将聚类算法集成在统一的环境内,构建聚类PSE。然而,在构建聚类PSE的过程中,我们发现现有技术难以满足聚类过程所需的计算资源,而网格技术能够有效积聚资源,可以满足聚类过程对资源的要求。因此,作者提出将网格与聚类PSE相结合,构建基于网格的聚类PSE (PSE for Clustering, PSE-C),实现网格与PSE二者优势互补,以满足大规模数据处理的要求。本文的主要工作和创新性成果如下:(1)本文提出一种基于参考点并具有分离性的快速聚类算法CURS。CURS算法主要思想是:采用多个参考点来有效地表示一个聚类区域和形状,并基于相似参考点进行小簇合并,通过引入聚类有效性指标评价新簇的质量,重新划分低质量的新簇,避免低质量簇向高层扩散。实验结果表明,CURS算法可以处理任意形状的聚类簇,而且由于在聚类过程中引人了质量评价指标及簇分裂机制,该算法还能有效地处理噪声干扰,确保聚类结果具有较强的鲁棒性。(2)对CURS层次聚类算法和基于SVM的聚类算法进行了分布性扩展研究。作为PSE-C底层对外提供的聚类服务:CURS聚类服务和基于SVM的聚类服务,我们对这两种聚类算法集成到PSE平台上的可行性进行了分析。CURS层次聚类算法因具有较好的分布性对其进行适当封装就可较好地部署在网格环境中实现分布式聚类功能,但对于不具分布性的SVM聚类算法在集成前必须先进行算法分布性扩展。本文第三章详细地就如何对基于SVM聚类算法进行分布性扩展作了分析,并在此基础上设计了各节点上的分布式SVM聚类器模型。(3)本文提出并实现了四层网格架构的PSE-C,以统一的接口对外提供服务。在PSE-C中,作者在参考PDE.Mart三层网格架构的基础上增加了中间件层Agent,该层封装了底层网格服务,屏蔽了不同网格服务提供者间的差异并以统一的接口对外提供服务。另外,该层还提供了大量数据传输的新方式和执行用户定义的工作流的功能,该层采用基于XML的SOAP协议进行通信,以Apache AXIS作为SOAP协议的实现。四层的网格架构使得PSE-C的灵活性、扩展性以及适应性都比PDE.Mart有所增强。(4)对PSE-C中任务调度问题的研究。就试验中遇到用户提交大量任务导致系统性能明显下降问题进行了分析,借鉴现有的网格调度算法研究成果,提出了一种改进蚁群算法的PSE-C服务调度策略。该策略主要通过引入新型信息素和任务再分配时资源选择规则,一方面使得算法能够跟踪资源自身运行情况并进行标记,另一方面增加蚁群算法对服务调度不成功情况的处理,减少系统不必要的开销,缩短任务完成的总时间,优化了PSE-C系统。
其他文献
经纬度网格相比其他网格系统,具有相邻关系不唯一,空间面积不均匀等特点,这就使得在用经纬度网格作为全球范围数据可视化的底层结构时,无法避免的出现数据冗余,邻域计算精度
对于企业来说,要保证一个好的经济效益,就必须要有一个高的稳定的销售额,而销售市场是一个复杂的非线性动态系统,利用传统的时间序列预测技术很难揭示其内在的规律。本文在考察与
本文研究和实现采用服务器前置方案的分布式高清视频交互式点播系统的系统结构和资源管理。系统结构采用CG树模型,可以在不增加硬件成本条件下保证系统良好的扩展性和可靠性
随着经济的快速发展和城市的日益现代化,我国机动车的数目正在急速增长。车辆在带给人类方便的同时也成为各种犯罪分子作案后理想的逃逸工具。尽管各种监控设备已被广泛的应
作为一个新兴的研究领域,网络编码广泛应用于数据分享,可靠传输,网络安全等各个方面[10]。在传统的网络中,我们用存储转发的方式来进行数据传输,中间节点的作用仅仅是把从输入信道
行人检测是计算机视觉领域的热门问题之一,近年来得到越来越多的关注。其相关技术是目前计算机视觉和模式识别研究中的难点和前沿问题,具有重大的学术意义和广阔的市场应用前
虚拟器官的建模和仿真是当今国际上生物医学工程领域研究的前沿课题。眼睛是人体重要的器官之一,对它进行三维重建具有极高的科学意义和实用价值;急性闭角型青光眼(Acute Angl
D-S证据理论在推理应用中,证据理论合成规则,提供了一种处理多数据源不确定信息推理和融合的有效方法。近年来,在医学诊断、目标识别、军事等许多应用领域,需要综合考虑来自各个
伴随着无线通信技术在人们日常生活中的普及,通信系统中受限的资源已无法满足用户需求,开始影响系统的工作效率。现急需一种高效的资源分配算法,在确保高QOS(Quality of Serv
智能交通系统是计算机视觉的重要应用领域。车牌是交通场景图像中常见到的目标类,车牌的检测与识别技术是许多智能视频分析应用系统的基础。在车牌检测与识别的应用工程中,由