面向自组织移动云的存储架构关键技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:exampleyuyu10
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网、物联网等新兴领域的蓬勃发展,人类社会正逐步从大数据时代向移动大数据时代演进。据统计,全球移动手机占有率预计2020年达到28亿,随之产生的移动数据规模以每年53%的速度指数增长,移动数据在全球数据总量中所占比重逐年上升,将逐渐成为大数据的主体。为缓解快速增长的移动数据规模与有限的移动设备硬件资源之间的矛盾,业界近年开始研究如何将多台移动设备随时随地自组织成为移动云,以实现端侧处理海量移动数据的目标,这一模式称之为自组织移动云(Ad-Hoc Mobile Cloud)。数据的合理存储和科学管理是保障自组织移动云QoS的基础,遗憾的是,目前关于移动云存储架构的研究尚处于起步阶段,相关工作主要基于传统云存储技术展开,无法充分利用移动端复杂的软硬件环境特征。这些特征主要包括:(1)移动设备硬件环境与传统服务器存在较大差异,例如闪存介质对随机读写的更好支持、无线通信带宽远低于有线网络等;(2)移动数据多呈结构化或半结构化,且具有离散分布(Scattering)、规模效应(Scale-effect)、高安全性(Security)的特点;(3)用户需求发生了深刻变化,移动用户对交互实时性提出了更高要求,且更加关注数据存储的安全隐私。本文深入分析了自组织移动云的场景特征,在此基础上提出了更为“高效”和“安全”的存储架构。文章的主要工作和贡献如下:1.基于移动设备的Hadoop移植与配置优化做为研究工作的第一步,本文实现了基于移动设备的Hadoop框架移植。部署过程中发现,移植到移动平台的云框架表现出严重的水土不服,性能方面受到很大影响。为此,本文设计提出了一套面向Hadoop移植的优化策略,通过神经网络技术挖掘配置参数与移动端软硬件环境间的内在关联,有效提高了系统工作效率。本部分工作的意义在于:首先,发现并实践了传统云架构到移动端的移植部署方法,为进一步研究打下基础;其次,通过大量实验,我们对移动端数据存储的性能表现和瓶颈所在有了更深入的了解;最后,测试和分析结果证明,面对分布式移动场景全新的硬件架构和软件环境,以Hadoop文件系统为代表的传统云存储架构在设计上存在不足,无法实现移动云高效、安全存储的目标。2.基于自组织移动集群的分布式键值存储系统移动数据往往呈结构化、半结构化特点,分布式文件系统架构对此类数据的存储管理仍有不足。本文在前一部分工作的基础上,设计提出了面向自组织移动集群的轻量级分布式键值存储系统LKSM。系统基于LSM-Tree索引结构实现,并维护了全新的数据结构:弹性内存槽,在两组件的紧密配合与协调工作下,LKSM有效缓解了闪存的写敏感和I/O放大问题,同时大幅提高了数据存储性能。实验表明,相较LevelDB存储架构,LKSM在移动端具有更大优势(数据规模512MB时,读、写时间仅为LeveIDB的30.12%和36.16%)。3.基于属性命名空间树的数据存储安全模型以往研究工作主要关注存储架构的高效性,然而移动数据与个人隐私息息相关,因此用户对自组织移动云提出了更高的安全性需求。本文从用户层、逻辑层、物理层三个层面剖析了分布式存储架构,发现了其中存在的安全隐患,进而提出了一套基于属性命名空间树的数据存储安全模型ANDS。通过引入命名空间属性管理机制,ANDS以权限访问控制和数据加密的方式实现了元数据与内容数据的双重防护。在此基础上,本文提出了块粒度的代理重加密策略,结合分布式存储以块为单位的特点,我们利用多设备同步重加密的方式有效缓解了安全保护带来的性能开销。4.基于自相似原理的大规模边缘设备负载均衡策略少数移动设备在局域网内自行组建网络是易于管理的,然而移动设备的持有量远超PC机,因此移动集群规模的增长潜力远大于传统云平台。随着SDN和NFV等技术的发展,广义的边缘设备规模更为庞大。因此,如何有效管理大规模移动云集群成为了亟待解决的一项关键性问题。本文提出了基于自相似原理的负载均衡策略,并针对通信负载问题设计了任务分发算法Task Distributing和任务抓取算法Task Grasping,为大规模设备的资源管理提供了一套有效的解决方案。本文通过理论分析和模拟仿真验证了 SSLB在大规模边缘设备管理中的性能优势。
其他文献
本文首先介绍了H.264/AVC所使用的编码技术,H.264/AVC是较新的视频编码标准,它在以往视频编码标准的基础上进行了改进和升级。由于使用了新的编码技术,经过H.264/AVC编码的视频
近几年来,随着教育数据挖掘领域的快速兴起,结合数据挖掘方法对学生行为数据进行分析成为一种流行趋势,主要致力于对未来行为与兴趣的发现、对学生学习表现的预测、以及学生个人
随着互联网图像数据的海量增长以及人机交互系统的快速发展,如何对图像进行有效的组织分类,便于人们在浩如烟海的图像资源中快速找到想要的图像,成为人们越来越关注的问题。近年
个性化信息检索中用户偏好分析是信息检索领域的重要问题,其核心任务是在给定查询的基础上,通过分析用户的行为特征来挖掘用户的偏好,以获取符合用户查询倾向和符合客观规律的信
二维碎片拼接技术是计算机视觉与图像分析领域的一个有趣课题。由于碎片往往数量很多,人工拼接一般无法完成。为此,本文研究了一款基于形状分析技术的碎片拼接算法。首先,提
工作流技术是一种对某个工作流程及流程间各个操作步骤的抽象、概括和描述。之所以要发展工作流技术,重要原因之一是工作流可以实现企业生产的自动化,当满足给出的约束规则等条
基因表达数据反映的是直接或者间接测量得到的多个不同基因在多个不同条件下的表达水平,通过对这些数据的分析可以发现哪些基因的表达发生了改变,基因之间有何相关性以及在不
随着互联网和电子商务的迅速发展,如何将合适的产品和服务推荐给用户,成为了信息时代最具挑战性的问题之一。个性化推荐系统在这信息爆炸的时代应运而生,它能主动的预测到用户的
随着电力工业的发展,变电站的数字化、信息化的要求越发迫切,数字化变电站成为了变电站自动化系统的发展方向,在变电站在线监测系统中,数字化变电站网络通信也显得尤为重要。本文
自20世纪末以来,虚拟现实技术一直是信息领域研究、开发和应用的热点方向之一。它借助计算机构建出一个与现实环境十分逼真的虚拟环境,而且支持用户使用自然的技能亲身感受它