分布式全文检索中缓存系统研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:blnxy778
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
缓存技术是提高响应速度、处理效率及系统性能的关键性技术,在分布式全文检索过程中,具有重要的应用价值。研究分布式全文检索中的缓存技术,具有很高的理论价值和应用基础。本课题通过分析用户查询行为,设计了基于用户查询日志的缓存系统,经实验测试,此系统在提高舆情采集系统查询响应时间和处理效率,以及改善舆情采集系统搜索引擎性能上,具有良好效果。根据舆情采集系统实际情况和具体需求,设计了分布式缓存系统的体系结构,重点包括分布式缓存系统协作机制、数据同步、缓存结构和替换算法等关键环节。在本论文中,设计了双级缓存结构。在此结构中采用了静态和动态两种不同类型缓存,通过统计用户查询行为规律,提取查询热度最高的一部分查询,对缓存数据进行初始化分配。处理用户查询时,检索次序为静态缓存、动态缓存和底层索引库。由于静态缓存中存放热度最高的查询,并采取动态缓存辅助,结合行之有效的缓存替换算法,在命中率、缓存效率和时间开销等指标上,与采用其它缓存结构的分布式缓存系统相比,理论和实验上均有一定优势。同时,通过分析传统缓存替换算法理论基础和优缺点,在LRU算法和LFU算法基础上,提出一个基于评分机制的缓存替换算法。该算法兼顾了静态缓存和动态缓存间替换,以及动态缓存内替换两方面。与单纯采用传统动态缓存替换算法相比,命中率更优。
其他文献
数据逻辑独立性是数据库管理系统的重要特征,是应用系统独立于数据实体的重要保证,对于应用系统的发展具有十分重要的意义。然而现有的数据逻辑独立性解决方案都不够充分,以外模
21世纪是一个以网络为核心的信息化时代,随着网络应用的不断增加,人们在充分享受网络技术带来的快捷与便利的同时,对网络性能也提出了更高的要求。为了对网络性能进行改善和
随着计算机网络通信技术的飞速发展,基于网络的应用越来越多,网络上涌现了许多以多媒体为特征的新应用,如视频点播、计算机协同工作、电视电话会议等。这些以多媒体为特征的
随着多媒体技术和计算机网络的发展,大规模的数字图像资源和数据涌入互联网,它们和人们的日常生活息息相关。关于如何有效地组织、管理和利用丰富的图像资源的研究,对于未来
人脸检测是计算机视觉与模式识别领域非常活跃的研究课题,在视频监控、人机交互、图像检索、视频会议、身份验证、虚拟现实等很多方面都有着广泛的应用。随着智能计算技术发
植物抗性基因的研究是目前生物信息学领域重要课题之一。自发现第一个抗性基因至今,已有70余条抗性基因经过生物实验验证,并逐步应用于分子育种、转基因等方面的研究中。越来
基于模拟仿真技术的自适应优化算法,在保证数据库正常工作的同时,收集数据缓冲区工作特征数据,制定并实施优化方案。从而避免传统人工优化方式带来的一系列问题。同时,数据缓
随着计算机图形学的不断发展,以及电影、游戏领域对计算机模拟的需求不断增加,对于自然景物的模拟已经成为了研究热点之一。在自然景物中,树木是其中的一类重要组成部分。如
如何合理高效地组织图像数据、结合图像特征,将人工智能及知识发现等技术合理地运用于图像分类中,是当今计算机视觉研究领域的一个热点问题。自组织特征映射神经网络(SOFM, S
近年来,国内外第三代移动通信(3G)技术发展非常迅速,随着我国3G牌照的正式发放,三个3G系统先后投入使用。TD-SCDMA(Time Division-SynchronousCode Division Multiple Access)作为我