基于词语相关度的搜索引擎排序算法

被引量 : 0次 | 上传用户:wjief
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
搜索引擎的主要任务是搜集网络信息,根据用户提供的检索词为用户返回与检索词相关的网页链接。随着Internet网络容积的扩大,信息量的增多,搜索引擎在网络上抓取足够的网页并不难,难在于如何将这些网页整理出来,选择合适的排序算法,将网页链接发送到用户界面。现在搜索引擎的排序算法主要是基于链接结构,如PageRank算法和HITS算法,并在此基础上结合其它算法形成改进后的排序模型,实践证明搜索效果很好。但是基于链接的排序算法有自身的不足,如对自然语言的分析力度不够,定程度上脱离了人对语言的理解。因此,本文提出了基于词语相关度的排序算法,一是在大量语料集的基础上,通过统计分析文档内词语的共现率、词间距以及词语在语料集内的信息增益,得出关键词在文档集内的相关词语,并计录它们的相关度大小;二是在检索界面获取用户输入的关键词后,将得到的相关词及相关度值按一定算法加权到PageRank算法中,影响网页的排序结果。由于本文没有实现完整的搜索引擎系统,所以本文通过现有搜索引擎Google来获文档,利用上述算法对文档重新排序,并与Google的排序结果对比。通过实验对比分析,本文提出的算法能够改善基于链接结构排序的问题,同时也存在着一些不足:一是语料集的主题单一,实验范围小;二是检索中算法的时间效率问题考虑不周。本文提出的算法还需要在更广的领域和更多的实验分析基础上进一步改进。
其他文献
经济的全球化以及我国改革开放以来发生的一些复杂、深刻的变化不断冲击着我国高校马克思主义意识形态的主流地位。加上信息技术的进步,一些马克思主义意识形态的对立势力不
民间外交具有内容丰富、形式灵活、相对稳定的特点,在消弭各国人民间的认识分歧,增进彼此间的信任和感情,改善国家间的关系等方面,作用独特,往往可以取得官方外交所实现不了
世界能源危机和环境危机促使汽车工业沿着轻量化方向发展,因此轻质材料如铝合金、镁合金等被大量的应用在车身覆盖件中,而对于传统的点焊连接工艺,铝镁合金具有较高的导热性、表
《当代作家评论》是中国当代文学批评和文学研究的一个重要期刊,是众多文学评论刊物中有特色的一个,《当代作家评论》正是在几代编辑的共同努力下,以自己的述说方式为学术界搭建
“网络红人”现象是网络传播时代特有的一种网络文化现象,是由大众、媒体及社会共同创造出来的娱乐神话。每一个“网络红人”的出现,总是能够引起一场草根阶级的狂欢,引来媒体的
目的观察白芷总香豆素和白芷总挥发油配伍的药效学比较,确定最佳配伍比例.方法采用小鼠巴豆油耳炎实验、角叉菜胶足肿胀实验及热板致痛法3种模型比较白芷总香豆素和白芷总挥
缺血修饰白蛋白(ischemic modified albumin,IMA)是唯一经过美国食品和药品管理局(FDA)批准的检测组织缺血的生物标记物[1],其水平不受年龄、性别及种族的影响,可用于检测心
对我国经济发展现阶段来说,中小企业的能否健康发展对我国经济体系发展的过程有着非常重要的现实意义:一方面我国大型企业融资渠道逐渐增加,商业银行对于大客户的竞争成本高,所获
统筹城乡经济发展是党和人民关注的热点问题,是解决“三农问题”改变城乡二元经济结构的必然要求。发展县域经济,调整县域经济产业结构是促进县域经济合理发展、城乡统筹的根
研究植物乳杆菌L01对喂食高脂膳食的大鼠脂质代谢中的降胆固醇功效。SD大鼠被随机分成正常组、对照组、实验组Ⅰ和实验组Ⅱ。正常组喂食基础饲料,对照组喂食高脂饲料,实验组