【摘 要】
：
传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的Ma
【机 构】
：
数据工程与知识工程教育部重点实验室（中国人民大学）,中国人民大学中国调查与数据中心,中国人民大学信息学院
【基金项目】
：
国家重大科技专项基金项目(核高基项目2010ZX01042-001-002);国家自然科学基金项目(61070054);中国人民大学科学研究基金(中央高校基本科研业务费专项资金,10XNI018);中国人民大学研究生(11XNH120)资助~~
论文部分内容阅读
传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.
其他文献
<正>压力锅试题涉及压力、压强、沸点和压强的关系、力的平衡、物态变化、热量计算、电路特点、电功、电功率、高温消磁等知识,因此备受中考青睐.压力锅有"明火压力锅"和"电
自改革开放以来,中国在吸引外资方面取得了巨大的成绩,海外并购是中国企业走向国际化的必经之路。目前,中国企业的海外并购成为我国经济生活中的热点问题,并购使企业综合实力
小微企业在我国经济发展中具有举足轻重的地位和作用,但融资难问题却始终是解不开的死结,严重制约小微企业的发展。究其关键,小微企业很难满足银行对贷款保证要求,且银行缺乏
足球运动一直以来都是公认的“世界第一运动”，其开展范围之广、人民喜爱程度之高以及在体育界的影响力之强，都是其他体育运动项目无法匹及的。在我国，虽然国足和职业足球俱乐部
本文是将匈牙利作曲家利盖蒂（Gyorgy Ligeti）的《第二弦乐四重奏》作为研究对象，具体内容会涉及到该作品的背景介绍、作曲技法的分析与文献研究。在最新版的《新格罗夫音乐与音
目的探讨慢性咳嗽的中医证候规律,为该病的辨证论治提供依据。方法采用预先设计的量表,对161例慢性咳嗽患者进行流行病学调查,收集慢性咳嗽的症状、舌脉等资料,建立数据库,并
通过读写结合的教学策略提高小学语文阅读教学的教学效率已成为当前教师们常用的教学方法,但在教学中,教师常常采用仿写、补写、续写、改写等方法,忽略了传统教学中惯用的摘
伴随着经济的高速发展、人民生活水平的提高,全球变暖、自然灾害频发等问题也越来越引起社会各界的广泛关注。建筑行业作为国民经济的支柱行业,存在着严重的资源、能源浪费和
H2S是一种剧毒、无色、带有臭鸡蛋味的危害性气体，煤矿瓦斯中H2S异常（超过煤矿安全生产规定的6.6ppm）严重影响到矿井工作人员的生命安全及工作面正常生产。本文以阜康矿区H2S异