互联网上以指数级方式产生海量的高维数据,目前主要对这些数据进行降维、聚类、近邻搜索等研究与应用。针对海量的这些数据,提高语义搜索精度和速度是非常有意义的。本文主要研究基于萤火虫算法的近邻传播聚类算法以及在Spark平台上的分布式实现,并在此基础上开展科技领域语义搜索引擎的开发应用。本文主要研究工作如下:(1)研究一种基于萤火虫算法的近邻传播聚类算法,优化近邻传播聚类算法不能自适应调整偏向参数而引起的聚类效果不好问题。利用萤火虫算法动态探测最佳聚类中心,取代原算法将每个数据点默认为聚类中心点的方式。(2)在(1)的基础上进行分布式萤火虫近邻传播聚类算法的研究以及在Spark框架上的实现。将海量的高维数据集划分为若干个子集,每个子集用改进的近邻传播聚类算法并行计算选取聚类中心点,再合并所有子集的聚类中心再次聚类。并将分布式算法在Spark框架上设计与实现。(3)研究一种科技领域语义搜索引擎。设计多层次语义索引结构,利用(2)中算法对科技资源语义向量聚类,构建多层语义索引,语义搜索时取索引中多个聚类结果的并集,加快语义搜索的速度和提升准确度。基于上述研究成果,开发了科技领域大数据语义搜索引擎并应用于“佐创智推”大数据科技成果转化服务平台上,有效促进了科技成果和地方需求的精准匹配和对接转化。