数据仓库性能优化之物化视图选择算法研究

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:shuixi000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库的构建是一个复杂,庞大,循环往复的过程。要构建一个优秀的数据仓库平台涉及到很多技术,需要考虑很多方面。本文就数据仓库中的优化问题提出探讨。 本文首先介绍一些常用的优化技术,如数据抽取中的优化策略,物理建模中可以利用的分区和索引技术等。 然后引出本文的核心研究内容——物化视图的选择。联机分析处理的难题是,在海量的数据中要对用户的复杂查询做出快速的响应。而物化视图由于它的灵活性,响应时间短,方便维护等优势,正好解决了这一难题。物化视图的本质是以牺牲存储空间和维护代价来换取快速响应时间。由于存储空间的限制,如何在有限的空间中选择视图进行物化,以达到最高效率的查询,是本文研究的主要内容。 接着就目前常用的物化视图选择算法之一,遗传算法提出讨论。分析了它的不足和应用的局限性,并提出了一种改进的算法:一般遗传算法和模拟退火算法相结合的遗传退火算法。该算法充分利用一般遗传算法的全局把握能力强和模拟退火算法的局部搜索能力强的特点。同时提出了物化视图选择的代价模型,这种代价模型充分的考虑到了物化视图在选择时的查询代价和维护代价。最后利用遗传退火算法的思想,结合代价模型,具体的阐述了物化视图的选择过程。在物化视图的具体选择过程中,本文还引入了多项式求解约束的思想,来解决选择过程中产生的无用解。 最后,本文引入了物化视图的动态调整。由于常见的视图选择方法都是基于用户事先提出查询,而且查询分布均匀,并长久不变的情况。但是在大型的数据仓库项目中,用户不可能一下提出所有的查询需求,而且随着时间推移,用户的查询需求也会发生改变。而推翻以前的物化视图,重新进行物化视图选择的代价是相当大的,而且也不是即时的。所以本文提出一个比较全面的动态调整方案。结合物化视图的收益模型和调整时机,该方案不仅能够及时的调整物化视图,还能够防止由于频繁更新物化视图集合而带来的负面影响。并且通过实验验证了方案的有效
其他文献
后缀数组构造算法是建立大文本全文索引最主要的方法之一,在网络Web搜索以及生物信息学(基因数据库)等领域,有极其重要的应用。由于这方面应用处理的数据是数于亿计的字符,高效
用于数据分析与挖掘的数据可能包含数以百计的属性,其中大部分属性与数据挖掘任务不相关,是冗余的。尽管领域专家可以挑选出有用的属性,但这可能是一项困难而费时的任务,特别
随着互联网的发展,计算机要处理的文本信息越来越多。人们期望计算机能迅速、准确地理解他们的需求和返回精准的信息。传统的搜索引擎不能完全满足这种需求,而问答系统作为自然
在ERP(Enterprise Resource Planning)实现中,通过物料清单(BOM)配置产品结构是非常重要的一个方面。一个BOM描述了产品的组成结构,它通常以层次化结构在关系数据库中实现。这
图像插值是数字图像处理领域的重要内容,目的在于由低分辨率的图像重建对应的高分辨率图像。图像插值技术在数字摄影、医学图像、计算机视觉等领域有着广泛的应用,多年来一直
公开密钥体系(PKI)支持数字签名和数据加解密,目前被越来越广泛地应用于高速和大数据量的网络环境。其中椭圆曲线加密算法更适用于存储容量小且计算能力有限的系统,如智能卡和
在当今信息技术发展过程中,计算机已经成为人们工作、学习中必不可少的一项工具。计算机技术在其他领域的应用,不但提高了该领域的工作效率,也为计算机应用技术的发展开辟了
光纤通信技术的迅速发展,特别是密集波分复用(DWDM)技术的发展,使单波长上的数据传输率达到80Gbps,单根光纤接近Tbps,从而为利用计算机网络实现有线电视网络、电话交换网络和
近年来,XML正迅速成为万维网上数据交换、集成和表示的标准。而在与时态信息相关的应用下,我们需要查询XML的某个历史版本,以获取在特定时间下的XML数据。简单地保存XML文档的每
惯性器件为飞行器提供位置、姿态等导航信息,是飞行器上的重要设备。惯性器件精度和特性的测试是应用中的重要问题,论文讨论了惯性组件测试评价系统的开发。论文介绍了惯性组