面向云存储的非结构化数据存储研究与应用

被引量 : 31次 | 上传用户:whenhm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机应用的不断发展导致了数据量的急剧攀升,由于数据结构化过于受限于人工处理,非结构化数据的增长速度远远大于结构化数据。如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的问题。非结构化数据的存储通常有两种方式,一是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中。这种存储方式的优点是数据的读写速度快,缺点是数据的管理不方便,并且还需要考虑数据的安全性和事务处理的一致性;另一种是将这些数据存储在传统的数据库表的大对象字段中,这种方式充分利用数据库的事务、管理和安全性,但是可能带来数据查询和读写上的性能问题。这就促使我们要对海量非结构数据的存储进行研究和分析。云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能。制约非结构化数据存储的关键因素是,数据中心与异构终端之间的数据共享程度不够高,存储系统的高并发读写能力欠缺,存储系统的线性扩展能力比较差。本文以云存储、NoSQL技术等相关领域为研究背景,提出面向云存储的非结构化数据存储方案,将数据分布到云中进行分节点处理,这样做不仅降低成本,而且提高数据的存储能力。论文首先论述了非结构数据的存储现状及云存储的发展前景,研究了非结构化数据的存储方式,探讨了当前存储方式的特点和不足。接着研究了云环境下的三种存储技术,并对云环境下新型数据库技术NoSQL以及非关系型数据库MongoDB进行了论述,结合非结构化数据的特点、云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性。基于当前流行的hadoop云平台,设计了非结构化数据的云存储平台。在此平台中,将非结构化数据与其元数据信息进行分离式存储,非结构化数据以文件的方式存储在HDFS分布式文件系统中,元数据信息改用MongoDB进行存储。然后设计实验验证平台的可行性和有效性,实验结果表明,MongoDB存储元数据信息,可以加快数据的访问速度,NameNode节点的内存消耗有明显的降低。最后,针对海量图片存储系统中存在的问题,分析非结构化数据云存储平台应用的可行性,对海量图片云存储系统进行设计和存储管理实现。
其他文献
政府设立新闻发言人,不仅表明政府对媒体的重视和合作,更体现政府对于公众知情权、表达权等民主权利的尊重。权威信息的缺失是流言和小道消息诞生的根源,政府向公众发布明晰
本文对2008年—2010年国内地质灾害危机传播研究进行分析整理,并对近3年来,地质灾害危机传播的研究方向、研究内容及研究特征等进行总结,以期对今后我国地质灾害危机传播的研
<正> 由国际能源组织、加拿大国家研究委员会、气体研究所、美国能源部发起的生物质热化学转换原理国际大会于1982年10月18日至22日在美国科罗拉多山举行。全世界有关木材、
2011年1月,上海、重庆宣布启动房产税改革试点,开始对个人住房征收房产税。我国现行的房产税执行依据是1986年国务院发布的《中华人民共和国房产税暂行条例》,其中,个人拥有的非
翻译文学是近现代中国的一种重要文学形式,它在促进中国现代文学与文化的发展中起到了相当重要的作用,为翻译文学书写历史是很有意义的一项学术任务。不过,在书写翻译文学史
对外汉语中的新词语教学对留学生了解中国的发展现状,提高跨文化交际能力,有着十分重要的作用。然而,目前的新词语教学现状由于受到多方面因素的限制,还存在着许多亟待解决的问题
由冶炼等工业生产,灌溉、施肥等农业活动以及大气沉降等因素所引起的重金属镉(Cd)污染问题已日益受到广泛的关注,也是矿区污染治理和农业生产中粮食安全保障的重点。Cd具有高毒性
民事法律关系是民法理论和民事制度的基石。本文就民事法律关系运用于实际 ,特别是针对民族地区民事工作的实践 ,提出了具体运用的方法 ,并探讨了运用民事法律关系对民族地区
师生关系是教学过程中最基本的人与人之间的关系,师生间的交际是课堂活动的主体。在对外汉语教学中,师生间的交际是在跨文化的背景下进行的,良好的师生关系对解决对外汉语课堂中
真人秀是近年来最热门的电视节目类型之一,它不仅可以带来收视率的节节攀升,还能制造一系列社会热点话题,引导公众的舆论指向,真人秀节目正在渗入甚至改变着我们的生活。因此