海量虚拟身份数据的存储管理关键技术研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:liuhu8207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络及其应用的快速发展,网络上出现了越来越多的网络平台、应用,用户在不同的平台、应用可能会使用大量的虚拟身份应用信息。不论是静态数据如注册账号,还是用户交互消息如信息等都属于虚拟身份应用信息,它们存储的数据总量均达到TB级别甚至PB级别。在Web2.0时代,互联网应用需要处理大量用户创作或者分享的数据,比如图片、视频、博客日志等,这些数据类型多种多样并且格式、大小也不尽相同。数据量大,类型多样,大小不一的特性对于海量数据存储、管理提出了严峻的考验。本文是基于863重大项目——***网络身份管理与应用技术中的子课题***虚拟身份管理。它的主要功能是通过多种手段获得不同平台下的虚拟身份数据,并对它们做以统一管理,为实际的网络平台、应用提供接口,方便查找、追溯等。本文是对虚拟身份数据的存储关键技术进行研究,主要解决和实现了存储时的数据模型,在分布式环境下数据划分、数据副本以及查询时提高效率的多维索引和缓存等问题,并在虚拟身份追溯系统中模拟运行进行检测,为实现项目的要求提供存储基础。本文是基于Cassandra数据库的,主要工作包括:(1)在存储方面,针对虚拟身份数据量大,涉及模糊查询等特点,提出了基于MySQL数据库和Cassandra数据库相结合的数据模型。在分布式环境下,考虑了数据划分和数据备份等问题,设计与实现了基于加权改进一致性hash算法的数据划分方法和基于数据规模与热点变化相结合的数据副本策略。(2)在查询方面,针对虚拟身份查询请求中的无指定列的查询,机器节点快速准确定位等问题,设计并实现了Cassandra索引与倒排索引、节点索引相结合的多维度索引。考虑到请求访问的局部性原理,设计实现了针对虚拟身份特点的语义缓存技术。(3)在系统实现方面,以虚拟追溯系统为依托,对存储方面的数据模型、数据划分思想以及数据副本策略,查询方面的多维度索引和语义缓存做了性能测试,证明了以上方法对提高系统效率具有很好的性能。
其他文献
该文的研究主要包括:1.研究了计算智能在金融工程中的研究进展和应用,讨论了商空间理论在金融工程领域研究和应用的依据和意义,提出了将商空间理论应用于行为经济学的研究,介
动态负载均衡是网络计算的关键技术,如何提高动态负载均衡的性能,一直是网络计算人员研究的一个热点。传统的动态负载均衡方法总是收集结点负载的实时值作为任务在各结点分配的
个性化虚拟人三维建模是在虚拟场景中建立用户个性化的三维几何模型。本文使用多台微软推出的Kinect深度摄像机完成个性化人体的重建,工作流程如下:首先,根据Kinect相机特点
随着嵌入式系统复杂性的增长,嵌入式系统的开发一般需要在操作系统的基础上进行。硬件平台的多样性是嵌入式系统的主要特点,如何使嵌入式操作系统在不同的硬件平台上有效地运
针对目前Web挖掘和个性化技术的需求及研究现状,该文将研究重点放在支持个性化推荐的Web挖掘若干关键技术的研究上面,提出了一些应用于个性化推荐的Web挖掘新的算法,研究了几
本文设计和实现了基于智能卡的安全控制系统,它从网络安全和计算机安全两个方面入手保护计算机系统的安全。在网络安全方面,本文研究了已有防火墙的体系结构和关键技术,提出利用
本文对文档分类和聚类方法及其在信息检索中的应用进行了深入研究,主要包括以下几个方面的内容:通过对当前分类方法的分析,提出了基于统计的文档层次分类方法.针对当前文档聚
计算机应用的普及、多媒体技术的发展、教育体制的改革是的多媒体教学软件有了很大的市场。但当前市场上的多媒体教学软件质量很难让用户满意。如何在进度范围内制作出高质量
随着Internet的商业化,各种网络产品和网络应用相继出现,加速了IPv4地址的消耗,IPv6在这种情况下应运而生。IPv6在全球越来越受到重视,相应的网络产品和应用也大批涌现,从而
数据挖掘技术是从上个世纪80年代开始发展起来的一门新技术,其主要的目的就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道