支持快速联机分析处理的视图物化技术研究及应用

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:zxzwo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过OLAP查询可以快速发现数据背后隐藏的信息用以决策分析,但是OLAP查询在执行过程中往往需要对大量的数据进行选择、连接及投影操作,这是一个非常消耗时间及计算资源的过程。为了实现快速联机分析处理操作,可以引入物化视图来解决这个问题。物化视图是保存了预先计算好的查询结果的数据表。有了物化视图的支持,OLAP的查询就不必在原始的数据表上进行复杂的选择、连接、投影等操作,代之以从物化视图中获取所需的结果信息,从而缩短查询响应时间,提高查询效率。但是物化视图的引入又带来了新的问题,一是增加了数据仓库存储方面的开销,二是为防止物化视图失效,要对其进行定期刷新,维护数据量大并且计算复杂的物化视图将消耗大量的时间和计算资源。如何选择合适的视图进行物化从而使查询效率尽可能高,存储开销及维护开销尽可能小,这是物化视图选择要解决的问题;如何选择合适的方法对失效的物化视图进行快速的更新操作是物化视图维护要解决的问题。针对这两个问题,本文分别提出了基于遗传算法的物化视图选择方法以及基于数据世系的物化视图维护方法,主要研究工作和取得的成果如下:1.阐述了数据仓库中引入物化视图后面临的主要问题,分析了目前国内外关于物化视图选择及维护问题的研究现状,详细介绍了物化视图选择相关技术及物化视图维护相关技术。2.根据物化视图已经被证明是NP-hard问题的客观事实,提出一种基于遗传算法的物化视图选择方法。将多维数据格模型下的物化视图选择问题转化成遗传算法求最优解的问题,并把自适应调整交叉概率及变异概率的机制引入到遗传算法的求解过程中,加快算法的收敛速度,避免过早收敛。3.利用数据世系技术实现物化视图的增量维护,分别针对聚集物化视图及非聚集物化视图,提出了它们各自的增量维护模型及增量维护方法,并通过实验证明算法可行且性能较优。4.将基于自适应遗传算法的物化视图选择算法和基于数据世系的物化视图增量维护算法应用于运载工具分析系统中物化视图的选择及维护,提升了系统的查询响应效率,实现用最少的时间响应查询请求。
其他文献
近年来,基于全球性的三维地形漫游系统受到大家的热切关注,已广泛应用于地理信息系统(GIS)、国防军事、城市规划等领域。然而,随着现代数据采集能力的提升和人们对需求质量的
随着计算机网络的快速发展以及通信技术的不断成熟,人们的通信方式发生了很大的变化。其中即时通信系统以其便捷易用性、沟通方式多样性、消息即时性以及沟通成本低等优势广受
智能电网是未来电网的发展趋势,构建智能电网建设的重要基础之一就是信息平台。而今后的发展中,电网的数据必然会越来越多,传统的信息平台可能在未来已无法满足需求。而海量数据
互联网的飞速发展改变了人类生活的方方面面,在互联网给人们提供的服务中,视频直播服务以其时效性、娱乐性等优点备受人们青睐。在视频直播服务发展伊始,人们普遍采用集中式C
随着Web应用的迅速发展和软件规模的日益扩大,为了节约软硬件成本及维护的费用,软件即服务(Software as a Service,SaaS)作为一种新的软件应用模式应运而生。“单实例,多租户”是
随着多媒体技术的兴起,人们的生活得到了很大的提高。它在提供了基本的生活便利之外,更在逐步改变着传统的生活、娱乐、交际方式。然而,随着信息时代的来临,数据量的膨胀以及
当前,数字图像的修改变得更易操作,效果更为逼真,能“以假乱真”的图像也随之出现,扰乱社会秩序。鉴于此,能够辨别图像真伪的数字图像取证技术成为当前刑侦、安全、宣传、知识产权
伴随着我国下一代无线移动网络的进程,支撑各种各样电信业务的移动控制网络对底层的存储系统的支持提出了更高的要求。如今日益增加的用户数量和数据流量已经让传统的存储方
近几十年来,在图像信息方面,网络中用户每天上传的图像数量呈现出爆炸增长的趋势。如何有效的管理这些大量的图像数据,进而建立一个图像检索系统帮助人们快速找到自己感兴趣
网络最大流问题是图论有向图部分的一个非常重要的基本问题,在图论研究领域有着非常重要的理论意义。同时网络最大流在快递企业中心选址、交通分配、图像分割、社交网络Web社