元搜索引擎聚类的研究与实现

来源 :江苏大学 | 被引量 : 0次 | 上传用户:fugh824
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的不断发展和日益普及,网络上的信息量在爆炸性增长,于是搜索引擎成为人们从海量信息中获取所需信息的必要工具。但是,传统搜索引擎自身存在的不足限制了人们对信息的获取。首先,单个搜索引擎的覆盖率较低,许多有用信息检索不到。其次,传统搜索引擎以线性列表的方式把搜索结果返回给用户,使得相关信息和无关信息混杂在一起,用户必须逐条浏览以找到自己需要的结果。因此,如何提高搜索引擎的覆盖率以及对搜索结果进行有效地组织成为目前研究的热点。   本文通过对元搜索引擎结果进行聚类,解决了传统搜索引擎的不足,并设计实现了一个元搜索引擎结果聚类系统CMSE(Clustering Meta Search Engine)。本文的主要工作如下:   1.调研搜索引擎及聚类的相关知识和技术,包括检索模型、聚类算法和TFIDF等。   2.针对当前元搜索引擎方法在搜索结果去重时忽略了文本内容和排序时所采用的位置排序法不合理等不足,本文提出了基于URL、标题和摘要的去重方法和改进的位置排序法。基于URL、标题和摘要的Web文档去重方法综合考虑这三方面的因素来判断Web文档是否重复,相对其他方法加入了文本内容的判断,准确率更高。而改进的位置排序法则对多个成员搜索引擎返回结果的位置权重进行重新计算,对重复Web文档进行权重叠加,形成最终的排序结果。   3.针对现有聚类算法所采用的向量空间模型在计算Web文档相似度时存在高维稀疏问题,并且忽略了词项之间的语义相似度,本文采用WordNet对标题和摘要的空间向量中的词项进行相似度计算,去除同义词以降低空间向量的维数,进而降低计算的时间复杂度。再通过标题和摘要之间的相似度计算得到Web文档的相似度,从而对其进行聚类。   4.在理论研究的基础上,本文设计并实现了一个元搜索引擎结果聚类系统CMSE。该系统包括搜索请求分配模块、搜索结果整合模块、特征向量生成模块和结果聚类模块。实验表明该系统具有较好的聚类效果。
其他文献
随着遥感技术向高分辨率、广覆盖方向的发展,遥感图像的数据量持续增长,迫切要求与获取速度相适应的管理和理解能力。遥感图像的语义自动标注是大规模遥感图像数据管理、理解的关键。采用信息技术自动获取遥感图像的语义词,有助于用户直观理解图像内容,完成海量遥感图像数据的高效管理。现有标注方法在遥感图像语义自动标注过程中存在以下挑战:(1)遥感图像的空间结构复杂、地理特征信息丰富,很多学者基于遥感图像的单一特征
图像超分辨率(Super-resolution,SR)算法试图从一个场景的一幅或者多幅低分辨率(Low-resolution,LR)图像中重构出一幅高分辨率(High-resolution,HR)图像。通过放大图像的目标
海上溢油事故是海洋中最频繁、最严重的污染灾害之一。一旦出现海上溢油事故不仅影响人们的生产生活以及人类的健康,同时也会破坏海洋的生态环境。当今用于监测海上溢油的手
随着互联网的快速发展,人们每天都需要从各个网络渠道获取文本信息资讯,因此对多来源的文本信息的处理就成了一项非常重要的工作。大部分传统的主题挖掘模型都是针对单一来源的文本数据而设计的,对于当前存在的各种文本数据源来说,由于文本数据的形态更加复杂,传统模型难以有效地应用于这种多源融合情况下的文本数据。不同来源的文本数据,在主题信息的分布上具有一定相似性,但在主题的词汇特征上又具有明显的差异性,但是传统
学位
遥感技术的出现,使我们能不与研究对象直接接触,通过传感设备来获取观察对象的基本信息。这就避免了一些偏远或险峻的地区信息无法取得的情况,成为至今为止全球范围内动态观测数据的唯一方式,被广泛应用到多个领域,对经济的增长和社会的发展起着很大的催化作用。然而,由于受天气、遥感设备及传输介质的影响,遥感图像在成像和传输的过程中,往往会受到很多噪声的影响,其中最为常见的噪声为高斯噪声、云噪声和雾噪声等。这些噪
WSN(Wireless Sensor Network)是继Internet之后的又一次信息革命,将改变人们的生活,促进生产力的发展,进一步加强信息世界与物质世界之间的联系。WSN由传感器、无线传输模块
硬件实验是计算机或其他专业硬件课程的必备教学环节,是培养学生实际动手能力、工程实践能力以及开发创新能力不可缺少的手段。随着电子设计自动化(EDA,ElectronicDesignAutoma
随着互联网和信息处理技术的飞速发展,电子书、电子报纸、电子邮件等电子文本已成为人们日常生活的一部分,同时文本错误也越来越多。中文文本错误分为真词错误和非词错误。其
随着无线通信技术和移动终端技术的迅速发展,移动终端得到了广泛普及。凭借其易于携带性、灵活的连网方式、人性化的交互界面和丰富的多媒体功能,使得移动终端成为人们与移动
无线网状网(WMN:Wireless Mesh Network)是一种新型的分布式网络形态,是多点到多点的相对静态的网状拓扑结构。它不是传统的节点与基础设施的一跳关系,而是通过邻居节点的多