基于近邻相似图的谱聚类算法研究与应用

来源 :江南大学 | 被引量 : 0次 | 上传用户:bright202
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
谱聚类算法是基于谱图划分理论的一种聚类算法,由于其对非凸数据集具有优越的性能而广受欢迎。因为谱聚类算法中的相似图构造的好坏往往会直接关系到数据集内数据点之间的相似度是否符合真实情况,从而进一步影响到谱聚类算法的聚类性能,所以本文针对这一问题进行了研究。本文内容紧紧围绕谱聚类算法中的相似图构造,提出了两种基于不同相似图的谱聚类算法,其中一种为半监督算法。最后本文还将这两种算法进行了融合,得到一种新的算法,并将其应用到了实际的文本聚类当中。以下是本文的主要研究工作及成果:首先,提出了基于密度自适应邻域相似图的半监督谱聚类算法(DAN-SSC)。该算法先是将半监督信息的一种——成对约束先验信息扩散到整个聚类空间,然后再合理地利用这些信息来指导DAN算法当中的相似度矩阵的构造过程,接着才继续完成规范化谱聚类的流程。最后还需检验之前的聚类结果是否满足先验信息的约束条件,若不满足则需对其进行调整,调整之后才能得到最终的聚类结果。通过对比实验及分析,证明了DAN-SSC算法充分利用了有标签数据且避免了少量有标签数据可能会对聚类过程进行错误指导的情况,该算法在实验数据集上获得了比传统无监督谱聚类算法和其它半监督谱聚类算法更好的聚类结果。其次,提出了第二种算法:基于自然最近邻相似图的谱聚类算法(NSG-SC)。自然最近邻是一种较为新颖的最近邻概念,它有着诸多优点。本文创新性地将其融入到谱聚类算法的关键步骤相似图构造当中,主要是利用自然最近邻的思想来指导相似图的构造过程。最后的实验结果表明:对比传统的近邻关系图,本文提出的自然最近邻相似图能够更加准确地反映出样本间的相似性关系,NSG-SC算法同时也改善了传统谱聚类算法中不易识别形状不规则和密度可变的簇类的缺点。最后,将本文之前提出的两种算法进行融合,得到了基于自然最近邻相似图的半监督谱聚类算法(NSG-SSC),并将该算法并行化然后应用到真实的文本聚类当中。这是由于文本数据集通常维度高、分布复杂,而谱聚类正擅长处理这种数据集,将算法并行化更是能大大加快算法的运行速度。NSG-SSC算法的并行化平台是基于MapReduce编程思想的第二代分布式平台Spark,该平台采用了一种名为内存计算的技术,通过该技术能够极大地提高大数据集的运算速度。最后经过实验分析表明,NSG-SSC算法并行化后,可以成功地应用到文本聚类当中,并且取得了不错的效果。
其他文献
根据《国务院关于开展第一次全国污染源普查的通知》(以下简称《通知》)的要求,普查的标准时点是2007年12月31目,也就是说我们要在2007年完成普查的前期工作,时间非常紧迫,任务非常
中伊朗盆地卡山地区Aran构造带已钻探井3口,其中Am-1井获工业性油气流,随后勘探失利。为了揭示该构造带在Am-1井和Am-2井地区的构造差异,分析勘探失利的原因,通过对Aran构造带过
  随着中国第四代低压电器第一批四大系列产品逐步投产,推向市场,许多企业都在考虑开发新一代低压电器。本文重点论述新一代低压电器发展思路、主要特征以及涉及的主要技术关
结合工业污染源普查的基层工作经历,分析污染源普查的特点和要求,对污染源普查的工作程序、工作方法等进行了探索性研究。针对实际工作中存在的问题提出解决方案,并在清查、普查
基于ABAQUS混凝土损伤塑性模型,讨论了型钢混凝土梁三维非线性分析的建模方法及模型参数取值,针对一箱形型钢混凝土梁试验模型进行有限元模拟,并与试验结果进行对比分析。计
传统村落是农耕文化的产物,具有一定的历史特征和浓厚的文化底蕴,对其的有效监控影响着其自身的保护和发展。目前,由于传统村落保护和发展关系、提高农民生活质量需求的矛盾,
本文论述了开展污染源普查的职责分工,宣传形式,培训方法,清查和普查的组织,污染排放量的核算,质量控制,普查工作管理及要注意的问题。
随着高等院校深化教学改革,教学实践中引入越来越多的实用性较强的教学方法,加深学生理解与掌握所学知识点。暗示教学法作为新型教学方法,在戏剧表演教学中得到广泛应用。文
激光光源很早就被提出作为一种显示照明光源,与其它光源相比,激光具有大色域、高亮度、使用寿命长、能耗小、无污染等优点。但由于激光本身的高相干性,激光散斑问题是激光显示应用中必须要解决的关键问题之一。散斑的存在会严重降低图片质量,因而必须被抑制。目前,常用的激光散斑抑制方法有移动扩散片、旋转匀光棒、使用MEMS反射镜等。这些方法大多采用机械振动或旋转消散斑器件的方式,因此还需要提供外部电源和马达,这就
一部好的音乐作品,常常蕴含着一尊不朽的作曲理念的丰碑,就像人们内心深处的一个永久不变的期望,它将永远指引着徘徊在迷途中的作曲者。蒋祖馨的《庙会组曲》是上个世纪六十年代