【摘 要】
:
大数据是最近一年来非常火热的概念,随着人类产生和收集的数据量的爆炸式增长,对数据的存储和分析能力有了更高的要求。建设基于数据仓库的,特别是Hadoop的Web查询平台,是提高企
论文部分内容阅读
大数据是最近一年来非常火热的概念,随着人类产生和收集的数据量的爆炸式增长,对数据的存储和分析能力有了更高的要求。建设基于数据仓库的,特别是Hadoop的Web查询平台,是提高企业数据存储分析能力的有效方案。 本文针对某公司快速发展中面临的数据处理能力不足的问题,介绍了建设基于Hadoop的Web查询平台的必要性,分析了查询平台要实现的需求和所选择的技术架构,并重点介绍了其中的权限控制和性能优化模块。本论文的主要工作有以下两个方面:首先,对企业现有数据平台进行分析,总结其中的不足和企业数据存储分析的新需求,提出了基于Hadoop的Web查询平台设计方案。其次,设计并实现了平台中权限控制和性能优化模块,提出了细粒度的权限控制模型,其中包括Web页面的安全性、数据库对象级的安全性和元组级的细粒度安全性,并介绍了该模型的详细设计与具体实现,最后结合性能优化进行了分析。 目前本文介绍的Web查询平台已经建设完成,投入线上使用。其中细粒度权限控制模型的应用,在数据仓库中实现了数据访问的行级控制,达到了保护Web查询平台用户数据安全的目的,杜绝数据外泄的可能。通过性能优化,降低数据仓库中查询语句的执行时间,提高了Web查询平台的可用性。
其他文献
电子产品在人们的生活中扮演着越来越重要的作用,在工业生产中,如何提高印制电路板(PCB,Printed Circuit Board)的生产质量日益成为人们关心的话题。由于基于图像处理的印制电路板
XML已经成为互联网上数据发布和数据交换的事实标准.然而由于其强大的数据表达能力,XML完全可能在互联网和数据库之间扮演更加重要的角色.它的出现将会"把Web变成数据库".将W
目前企业网络应用环境都必须支持大量用户,网络体系架构包含各类应用环境,且软硬件产品大多由不同供应商提供,难以预知的用户负载和愈来愈复杂的应用环境使企业时时担心会发
现在,计算机技术在社会生活的各个方面得到了广泛的应用,但随着时间的推移和技术的进步,也出现了许多问题,很多早期开发的现在仍被继续使用的规模庞大且功能复杂的软件信息系统已
逻辑程序设计所具有的许多突出的、独特的优点如严密、牢固的理论基础,简明易懂的语义,允许显式地表示知识,程序简洁等等,使得逻辑程序设计在专家系统、自然语言处理、定理证
远程实时监控系统是近年来视频系统发展的一个热点.视频图像编码是监控系统的关键技术.该文首先介绍了传统的基于DCT变换的图像编码技术,然后着重介绍了小波图像编码理论与嵌
网格信息服务是网格项目中相当重要的一部分.在网格计算环境中存在各种动态资源,它们在地理上分散,又可以动态地加入或离开不同的虚拟组织.如何使网格应用程序方便地使用各种
传统的面向服务架构(SOA, Service-Oriented Architecture)虽然在服务抽象性及服务耦合性方面均有相关技术支持,为各企业的交互带来了屏蔽实现细节的便利。但不可否认的是基
伴随网络的普及和发展,安全问题日益成为影响很多领域效能的重要问题。为了保障证券市场的健康发展,亟需我们建立一个统一的安全体系。为了能够最大限度地确保网络信息安全以及
随着现代社会的飞速发展,以及人们对工业自动化的需求,对公共安全需求的不断提高,数字化的网络视频监控系统在现代的社会中得到越来越广泛的应用,同时也刺激着视频监控技术的