基于Hadoop的学习资源分布模型设计研究

来源 :沈阳师范大学 | 被引量 : 5次 | 上传用户:wanghua8503
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术、网络应用和多媒体技术的不断发展,学习者的学习观念和学习形式也在不断的发生转变。在这种转变下网络学习满足了学习者的终身学习和开放式学习的需要,成为学习者学习的一个重要途径和方式。在这种形式下,网络学习资源的组织和提供成了整个学习过程中的核心部分。为了满足学习者的需求,各个单位也分别开发了自己的资源库。但是,随着各个学科不断的发展,学习内容不断的丰富,学习资源形式的不断更新,对于这些资源的管理就成了一个核心问题。传统资源库对于大量的学习资源的存储,基本的解决方法是采用升级硬件设备的方法,但是随着学习资源爆炸式的增长,使很多设备提前“退役”,降低了系统的经济性。这种方法带来巨大的资金投入,形成了硬件瓶颈,但是没有从根本上解决问题。云计算思想在数据资源中的应用,为解决海量学习资源的存储提供新的解决方案。通过对文献资料的分析研究,发现采用分布式集群存储思想是解决这个问题的最佳方案。本文在分析现有的学习资源发展形势和国内外资源库及云计算应用的研究现状,结合Hadoop系统平台的自身关键技术和存储架构,设计了一种基于Hadoop云计算平台的海量学习资源分布模型。本课题以HDFS为文件存储,以HBase为元数据存储,构建在低廉的计算机集群上,实现海量学习资源存储的分布模型。该模型提高了系统的稳定性,扩展性和存取高效性。本课题重点研究的内容是在研究Hadoop关键技术的基础上,结合海量学习资源的特点,针对Hadoop在处理海量小文件时产生的高内存、高磁盘碎片及中心节点的压力过大等问题,设计了学习资源分布模型。在Hadoop模型的基础上进行优化,设计了以Hadoop为核心的四层架构模型,针对海量学习资源中有众多小文件和学习资源之间存在内在联系的特点,优化了学习资源文件的分布存储策略和元数据存储的数据结构,在实验室条件下使用七台计算机,借助虚拟机软件模拟部署了资源分布模型,并在此模型上进行现有数据的模拟测试。本课题通过对学习资源的特点设计了分布模型,满足了对资源存储的可靠性、高效性、可扩展性、低成本的要求。通过实验室的模拟测试,验证了模型的可用性和小学习资源文件的存储策略的正确性。
其他文献
女书是世界上惟一的女性文字,是女性身份建构的途径之一。作为女性意识高度发展的产物,女书的出现标志着女性身份建构的开始。在女书作品中,女性试图通过强化女性身份、颂扬
预浸料是由树脂浸润连续纤维或织物得到的组合物,通常树脂体系呈B阶段,是复合材料的中间体。环氧树脂作为最常用的中温固化预浸料树脂基体,必须具有良好的断裂韧性从而使预浸
目的比较Septodent无砷失活剂与砷剂用于牙髓失活的效果。方法将300颗需进行牙髓失活治疗的患牙随机分成2组,分别用非砷类牙髓失活剂(Caustinerf fort,Septodent,法国)和三氧
互联网技术日新月异的发展使得传统的金融活动越来越不能满足人们的需要,虚拟货币应运而生。虚拟货币自诞生之日起就备受金融界和学术界关注,目前仍处于发展的初级阶段。文章
刑事纠纷中的双方和国家都可以被视为经济人,根据经济学的成本收益理论,对于重视获得补偿的被害人和有支付能力的加害人,从和解中获得的利益要大于从正规诉讼程序中获得的利
校园篮球文化的建设对学生的全面素质提高具有重要的促进意义,加强校园篮球文化建设是积极发展社会篮球,探索扩大篮球基础之路的重要方式。探讨高校篮球文化的内涵、结构、功
文章介绍了美国主要的交叉口尾气污染扩散模型,并对模型进行了比较评价,探讨了传统交叉口扩散模型的缺陷;介绍了国内外交叉口尾气扩散研究的最新发展动态,最后提出了提高模型
现代科学技术的进步与发展,加快了医学信息的数字化,医疗系统包括中医系统也在快速的健全和完备,随之而来的是中医病案数据量的急剧突增,如何利用这海量的中医药数据来防控疾
针对考虑主体期望值的双边匹配问题,提出了一种基于累积前景理论的决策方法.给出了考虑主体期望值的双边匹配问题的描述;将主体给出的期望值视为参照点,构建了两个相对参照点