论文部分内容阅读
各种互联网应用的广泛使用,导致了数据量正在以指数形式快速地增加。根据预测显示,到2020年,整个世界的数据总量将是目前数据量的45倍。而在这些数据中,经常被访问的数据只占了20%,极少使用的冷数据却占了80%。蓝光光盘库适用于存放不经常被修改的固定的资料,使用它来存储这些冷数据。即使是冷数据也有被访问的时候,再加上存储的数量多,所以被访问的数据积累起来也较多,而蓝光光盘库的查询速度很慢,如何提高蓝光光盘库的查询速度将是本文研究的重点。本文将从两个方面来提高查询速度,一方面是从缓存层面,通过改进缓存替换算法来实现;另外一方面是从数据库层面,通过优化数据库来提高。论文的主要工作内容如下:(1)本文研究了缓存替换算法的模型,分析了VDL缓存模型对整个系统性能的影响以及在缓存模型下的几个重要因素。通过对传统缓存替换算法、影响缓存算法的性能参数的研究,再结合蓝光光盘库和磁盘阵列的特点,提出了一种基于对文件分类和对蓝光光盘分组的最近最久未使用(TypeAndDisk-LRU)算法。LRU具有较容易实现和较低的开销的特点,但是会出现缓存污染,TypeAndDisk-LRU算法对传统的LRU算法做了改进,不仅具有速度快和效率高的优点,还具有磁盘阵列和蓝光光盘库的优点,同时缓解了算法所具有的缓存污染问题。该算法通过与传统的LIRS和LRU算法进行比较得出,改进的算法效率更高效。(2)本文研究了影响数据库查询效率的主要的三个因素,然后针对影响查询效率的因素,设计了技术方案来解决这些问题,主要有对数据库连接池的优化、对索引进行优化和对SQL语句进行优化。最后对这三个优化方案进行了实现,采用数据库优化的方式后,数据查询效率得到了明显的提高。(3)本文根据前面的研究分析和改进并结合蓝光光盘库寿命长、容量大和磁盘阵列查询速度很快的优点,将磁盘阵列虚拟成蓝光光盘库,实现了一个光盘存储系统。该系统主要完成文件的查询、上传、下载、分享等功能。通过改后的缓存替换算法和数据库优化后,系统的查询数据的效率得到了极大的提高。