论文部分内容阅读
随着移动互联网、物联网等新兴领域的蓬勃发展,人类社会正逐步从大数据时代向移动大数据时代演进。据统计,全球移动手机占有率预计2020年达到28亿,随之产生的移动数据规模以每年53%的速度指数增长,移动数据在全球数据总量中所占比重逐年上升,将逐渐成为大数据的主体。为缓解快速增长的移动数据规模与有限的移动设备硬件资源之间的矛盾,业界近年开始研究如何将多台移动设备随时随地自组织成为移动云,以实现端侧处理海量移动数据的目标,这一模式称之为自组织移动云(Ad-Hoc Mobile Cloud)。数据的合理存储和科学管理是保障自组织移动云QoS的基础,遗憾的是,目前关于移动云存储架构的研究尚处于起步阶段,相关工作主要基于传统云存储技术展开,无法充分利用移动端复杂的软硬件环境特征。这些特征主要包括:(1)移动设备硬件环境与传统服务器存在较大差异,例如闪存介质对随机读写的更好支持、无线通信带宽远低于有线网络等;(2)移动数据多呈结构化或半结构化,且具有离散分布(Scattering)、规模效应(Scale-effect)、高安全性(Security)的特点;(3)用户需求发生了深刻变化,移动用户对交互实时性提出了更高要求,且更加关注数据存储的安全隐私。本文深入分析了自组织移动云的场景特征,在此基础上提出了更为“高效”和“安全”的存储架构。文章的主要工作和贡献如下:1.基于移动设备的Hadoop移植与配置优化做为研究工作的第一步,本文实现了基于移动设备的Hadoop框架移植。部署过程中发现,移植到移动平台的云框架表现出严重的水土不服,性能方面受到很大影响。为此,本文设计提出了一套面向Hadoop移植的优化策略,通过神经网络技术挖掘配置参数与移动端软硬件环境间的内在关联,有效提高了系统工作效率。本部分工作的意义在于:首先,发现并实践了传统云架构到移动端的移植部署方法,为进一步研究打下基础;其次,通过大量实验,我们对移动端数据存储的性能表现和瓶颈所在有了更深入的了解;最后,测试和分析结果证明,面对分布式移动场景全新的硬件架构和软件环境,以Hadoop文件系统为代表的传统云存储架构在设计上存在不足,无法实现移动云高效、安全存储的目标。2.基于自组织移动集群的分布式键值存储系统移动数据往往呈结构化、半结构化特点,分布式文件系统架构对此类数据的存储管理仍有不足。本文在前一部分工作的基础上,设计提出了面向自组织移动集群的轻量级分布式键值存储系统LKSM。系统基于LSM-Tree索引结构实现,并维护了全新的数据结构:弹性内存槽,在两组件的紧密配合与协调工作下,LKSM有效缓解了闪存的写敏感和I/O放大问题,同时大幅提高了数据存储性能。实验表明,相较LevelDB存储架构,LKSM在移动端具有更大优势(数据规模512MB时,读、写时间仅为LeveIDB的30.12%和36.16%)。3.基于属性命名空间树的数据存储安全模型以往研究工作主要关注存储架构的高效性,然而移动数据与个人隐私息息相关,因此用户对自组织移动云提出了更高的安全性需求。本文从用户层、逻辑层、物理层三个层面剖析了分布式存储架构,发现了其中存在的安全隐患,进而提出了一套基于属性命名空间树的数据存储安全模型ANDS。通过引入命名空间属性管理机制,ANDS以权限访问控制和数据加密的方式实现了元数据与内容数据的双重防护。在此基础上,本文提出了块粒度的代理重加密策略,结合分布式存储以块为单位的特点,我们利用多设备同步重加密的方式有效缓解了安全保护带来的性能开销。4.基于自相似原理的大规模边缘设备负载均衡策略少数移动设备在局域网内自行组建网络是易于管理的,然而移动设备的持有量远超PC机,因此移动集群规模的增长潜力远大于传统云平台。随着SDN和NFV等技术的发展,广义的边缘设备规模更为庞大。因此,如何有效管理大规模移动云集群成为了亟待解决的一项关键性问题。本文提出了基于自相似原理的负载均衡策略,并针对通信负载问题设计了任务分发算法Task Distributing和任务抓取算法Task Grasping,为大规模设备的资源管理提供了一套有效的解决方案。本文通过理论分析和模拟仿真验证了 SSLB在大规模边缘设备管理中的性能优势。