分布式视频流存储元数据服务器的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:saood
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来公共安全威胁愈发严峻,将安防监控技术应用到公共安全中刻不容缓。现有安防监控领域对数据的存储普遍采用普通分布式存储系统架构。然而,这样的存储架构下,系统使用多副本策略保证数据的可靠性,存储空间利用率低;此外,多数系统使用轮询调度算法调度存储节点,忽略了存储节点的负载均衡性问题,导致节点性能抖动较大;而且,在数据丢失恢复任务中,没有考虑视频流存储的有效时长等因素,数据恢复价值较低。本系统将分布式存储架构技术与安防监控行业相结合,设计与实现了元数据服务器,旨在提高监控数据的可靠性和系统可扩展性,在接入互联网的情况下,支持用户在合法权限内,获取任意摄像头的任意时间的数据。元数据服务器结合时间戳策略,设计了基于纠删码的分布式存储系统和卷式元数据管理结构,实现了对存储任务和恢复任务的均衡调度。具体研究内容如下:1.设计和实现了时间戳策略来维护存储系统中不同服务器之间卷信息元数据的一致性。存储系统中的每个服务器同时记录系统中所有卷数据的时间戳信息,以元数据服务器上的卷时间戳信息为系统唯一参考标准,判断其余模块中卷信息元数据的有效性。2.设计和实现了以节点和卷为索引的两个维度的元数据管理结构。元数据服务器维护每个存储节点的系统健康状态信息,为任务的均衡调度提供参考;同时,记录每个存储节点上数据分布情况和卷式数据的纠删码策略相关信息,为数据丢失后的恢复任务提供依据。同时,支持系统节点的动态扩展。3.设计和实现了基于多目标优化算法的任务调度策略。针对存储任务的分发,目标函数不仅保证节点的负载均衡,而且让不同节点之间的执行任务数量差值最小;针对恢复任务优先级的制定,目标函数优先选择数据冗余率低、丢失率高、视频剩余有效时间长的卷,提高系统的可靠性。通过对分布式视频流存储系统进行功能和性能测试,元数据服务器达到了对视频流数据存储、读取和恢复等功能的控制管理需求;另外,存储任务和恢复任务的调度策略,不仅降低了存储节点的负载失衡机率,而且延迟了低效恢复任务的执行,提高了系统恢复数据的后期使用价值。
其他文献
多频生物电阻抗成像技术(MFBEIT)依据各组织对激励信号频率敏感性不同的原理,在多个频率激励下测量生物体内的组织阻抗信息,通过分析组织阻抗分布图像区分不同的组织或同一组织
近年来,部队车辆的数目不断增多,管理的难度愈加增大。传统的管理方式实时性差、安全性低,不能满足管理人员对访客记录的实时查询需求,此外,由于所有的记录采用的都是纸质媒
随着互联网技术的迅猛发展,每天由网络产生的数据量越来越庞大。互联网企业面对这些浩繁的数据,常常陷入数据丰富而信息贫乏的尴尬境地。MapReduce是Google提出的一种用于大规
血压是人体基本的生命特征参数,也是临床上重要的监测要素之一。血压监测结果给诊断疾病、观察治疗效果以及预后判断提供了十分重要的依据。现今,在手术室、重症监护室等医疗
随着互联网应用的不断丰富,网络流量需求与网络带宽之间的矛盾日益增大,网络流量管理的作用显得尤为重要。在“尽力而为”的服务模型下,P2P文件传输等非关键流量消耗着大量的带
字符识别是模式识别的一个重要分支,它是一门研究如何利用计算机系统自动识别各种媒介上印刷的或手写的字符的技术。随着社会信息化进程不断提高,我们在日常工作中经常需要将大
  21世纪是一个数字化的时代,大量信息被采集、记录到企业各个信息系统中。这些被记录下来的业务流程数据由于相互隔离,很难为管理层提供运营分析和决策时的数据支持。商务智
近年来,在自然化、智能化的人机交互研究和情感智能领域已经取得令人瞩目的成果,其中一项关键的技术就是如何获取人的内心情感。表情是人们内心情感的重要表现形式,能够深刻地反
随着 Web2.0 的普及,在博客、论坛和商业网站中出现了大量包含丰富信息的用户评论,这些评论为用户分析提供了有价值的资料。由于发表评论的用户在注册时提供的用户信息可能是不
Web服务是一种面向服务计算的应用。不同的开发商通过使用不同的逻辑控制流将异构、多平台的Web服务组合成一个新的Web服务,称之为Web组合服务。Web组合服务控制流的安全性很