基于Flash混合存储的电子商务数据库性能优化研究

来源 :东华大学 | 被引量 : 2次 | 上传用户:bluecluse
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前电子商务的发展态势如火如荼,交易规模越来越大,导致了海量的电子商务数据,使得电子商务数据库的读写、更新和查询等性能提升变得越来越困难。当前主要的解决方案都已接近了数据库系统性能优化的极限。而Flash存储技术的发展为解决上述问题带来了新机遇,其超过磁盘100倍的I/O性能可以作为突破数据库性能优化瓶颈的方法。因此本文将从底层存储技术研究入手,兼顾上层软件算法来实现提升电子商务数据库在海量数据环境下的运行性能。研究发现,Flash芯片的顺序读写和随机读取速度都远快于磁盘,但是随机写入和更新性能不足,且芯片价格较高。因此本文提出采用Flash和磁盘混合存储系统,既可以综合利用两者各自的优势,又可以兼顾设备价格成本。但是基于混合存储系统的数据库部署方案目前尚无系统的研究。本文探索了基于混合存储系统的电子商务数据库性能优化,研究成果丰富了现有电子商务数据库的研究内容,对电子商务企业的发展具有重要的现实指导意义。本论文的研究内容主要有:(1)基于混合存储系统的差异存储模型的构建。从适合电子商务企业应用的角度出发,在数据库表和属性两个层面上构建了差异存储模型,并设计了判断表和属性数据读写敏感性和冷热性的阈值算法,实现了表及属性数据的读写敏感性和冷热性分析以及迁移存储方案。(2)基于混合存储系统的差异存储模型的查询性能优化研究。消费者使用电子商务平台时需要进行大量的数据库查询操作,因而确保并提高电子商务数据库的查询性能对于保证电子商务企业运营质量至关重要。本文首先设计研究了HS-Join算法用于提高存储于不同存储介质的、以表为单位的多表连接查询性能;其次设计研究了PHS-Join算法,在Flash设备上提取主键列和连接列建立连接子表并基于子表重构整体连接表。实验表明了两种算法能够明显提高电子商务数据库的查询性能。(3)基于混合存储系统的差异存储模型的事务处理性能优化研究。电子商务数据库的事务处理性能是电子商务企业提高响应能力,维护更多消费者人数,并在同一时间内满足每位消费者个性化需求的重要技术基础。本文以Oracle数据库为例,首先分析了事务处理过程中大量的临时数据和日志数据的读写敏感性及冷热性,确定了将这两类文件迁移存储到Flash设备中。其次根据日志文件增长迅速的特点,提出了Dynamic Logging方法,当Flash空间不足时,日志记录可以实现分散存储。实验表明上述管理方法明显提高了电子商务数据库的事务并发性能。(4)基于混合存储系统的差异存储模型的数据仓库性能优化研究。优化电子商务数据仓库的查询分析性能是电子商务企业更快速、更准确地作出商业决策的技术基础。本文首先提出了采用列存储方案,并提出了列迁移存储算法,提高了决策所需属性数据的查询效率。此外针对数据仓库中多属性关联分析时连接代价大的问题,提出了行列混合存储方法,通过提前固化减少了连接代价。最后提出了数据差异化压缩存储方案,既保障了数据的查询效率,又充分利用了磁盘的存储空间。本论文的创新点和主要贡献有:(1)本文从电子商务企业角度考虑其经济可行和技术可行两个方面,提出了在电子商务数据库中采用混合存储系统,并从表和属性两个层面构建了差异存储模型。既有利于电子商务企业应用实现,又能满足用户对响应速度可感知的要求。(2)本文提出了适合混合存储系统查询的HS-Join算法和PHS-Join算法,充分利用了Flash的随机读取优势,提高了电子商务数据库的查询性能;提出了数据库相关文件在混合存储系统中的部署方案,极大提高了数据库的事务处理性能,提升了电子商务企业的业务处理能力。(3)本文为了实现电子商务数据仓库性能优化采用了行列混合存储技术,提出将高频率的连接列提前固化,提高了分析决策的速度和效率。此外在混合存储系统中采用数据差异化压缩存储方案,充分发挥了设备的存储效率,又确保了数据仓库的查询速度。
其他文献
随着互联网和多媒体技术的发展,数字媒体如图像,音频和视频得到了广泛的传播和应用。由于数字媒体可被轻易修改,如何确保媒体内容的完整性和真实性成为信息安全领域的重要课题。
我国药品专利强制许可至今零实施的原因主要有三方面。首先,以知识产权为主要焦点的中美贸易摩擦以及欧日等发达国家构建的知识产权贸易保护网使我国药品专利强制许可的实施
自党的十五大以来,我国的中小企业得到了迅猛发展,在国民经济和社会发展中的地位和作用日益趋显,管理会计作为提高企业内部管理水平的重要工具,也开始被我国中小企业应用。但
舞狮作为一种与海外华人节庆生活紧密相连的艺术形式,在表演及观看的过程中,为表演者和观众提供了表现和重构栖居地华人族群意识,以及个体文化身份的平台和基础。通过对于舞
当前,由于管理方式传统、人力资源缺乏、机构建设缓慢、独立性较弱、专业性不强等原因,区域教研工作发展面临诸多困境。在深入学习借鉴北京、上海教研工作的开放性、民主性、
<正>"共同体"一词最早由德国古典社会学家滕尼斯在其《共同体与社会》中引入,滕尼斯将共同体分为:血缘共同体,地缘共同体,精神共同体。滕尼斯认为"血缘共同体作为行为的统一
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
介绍了湖北省再生稻发展的现状及潜力,种植面积在3.3万hm2左右,再生季产量4 500 kg/hm2左右,全省适宜发展再生稻的有效耕地面积在50.0万hm2以上,开发利用其中七、八成每年全