基于Hadoop的海量图象数据管理

被引量 : 0次 | 上传用户:dotnetgroup
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近十年来,随着科技的进步,计算机的应用越来越广泛,这其中,互联网的应用与发展尤其迅速。随着数据来源不断增加,数据量快速增长,互联网上的数据已经达到PB级别,例如阿里巴巴、易趣网交易数据、频监控系统的实时影像数据、腾讯的即时通讯日志数据等。相对于互联网上的文本数据,图像数据的增长更加迅速,这就对于图像数据的有效管理提出了新的挑战。如何有效地存储并管理这些图像数据就成为了新的研究热点。在这样的背景下,原有的解决办法例如常见的海量图像数据管理系统不能很好的适应现有的应用,因此新的解决方案与管理系统不断被提出。基于海量图像数据管理的新难题和新的解决方案不断被提出的背景,本文在分析了海量图像数据的产生与应用的具体背景之后,根据Hadoop系统在存储和管理网页数据与日志数据等的成功,研究了基于Hadoop系统的大规模海量图像数据管理问题。Hadoop是依照Google的GFS分布式文件系统与MapReduce并行编程框架的开源实现,主要用于Web数据的管理和挖掘,在存储与管理图像数据方面存在不足。本文首先扩展了Hadoop的相应功能模块,设计和开发了一个基于Hadoop的海量图像数据管理系统,包含数据的导入、数据服务,数据请求以及可视化查询浏览等功能,论文着重叙述数据的导入、数据服务,数据请求的设计与实现,对相关的图像处理算法的并行化进行了设计与实验,给出了实验效果。同时,根据海量遥感影像数据单个图像占用空间比较大等特点,论文探讨了Hadoop系统的调优,使之适合于作为一个管理海量图像数据的新的海量图像数据平台基础架构。
其他文献
综合利用地震、钻井、油藏及地球化学资料,对珠江口盆地惠西南地区转换斜坡特征及其对油气的垂向输导作用开展了研究。研究揭示研究区发育了开放型、连接型和破坏型3类转换斜
一、人本主义教育的含义及特征美国著名心理学家卡尔.罗杰斯创立了人本主义教育思想。这种教育思想强调以学习者为中心,从注意人的本身价值和长期被教育所忽视的情感领域入手
在对知识转移理论、知识存量理论等相关文献梳理基础上,提出知识联盟中知识转移效率问题。引入博弈模型并提出相关假设,通过对郑州铝工业知识联盟的案例分析,构建知识转移效
本文试图以19世纪英国中国学的发展为背景,通过分析、比较理雅各《中国经典》丛书内《诗经》的两次迥然不同翻译,以及两次翻译在理念和策略上的差异变化,展示译本所经历的从
为了考察欧美留学生运用汉语持续体标记“着”的情况,本文从结构和语义两方面出发,主要采用中介语语料统计和问卷调查两种方法,考察了欧美留学生对“V着”句型的运用情况,以
我国公立医院收费方式改革的主要方向,是将按项目收费方式转变为按病种收费方式。公立医院探索按病种收费方式,是因为其可以克服公立医院按项目收费方式的制度缺陷。按项目收
对于含MoS2的复合材料在单向滑动摩擦条件下的实用性能,人们已经进行了比较多的研究,然而好多摩擦部件在工程实际中经受的却都是往复摩擦。为了探明热压Ni-MoS2复合材料的自润滑性能及其耐
硕士研究生的专业认同水平的高低对其专业学习状况具有重要影响,硕士研究生保持较高的专业认同水平,有助于其更好的投入到自己的专业学习活动中。基于这样的目的,本研究以H大
本论文意图以伍光建翻译大仲马的《侠隐记》(今译《三个火枪手》)为研究对象,探讨其在清末民初的“历史小说”这一新小说文类诞生和发展过程中的意义。论文共分四章:在第一章
足球运动号称世界第一运动,由于在现代社会中的影响较大,我们可以用一些数据来证实这一点。每周平均有360场正式足球赛在进行。去年的第19届南非世界杯分组抽签就吸引了2亿人