论文部分内容阅读
随着视频监控技术的发展,各种监控设备已经遍布大街小巷。视频监控技术极大地方便了我们的生活,但海量监控数据的存储也给相关基础设施带来了严峻的挑战。分布式存储系统能够很好的满足这一需求,对比国内外典型的分布式存储系统架构,不难发现元数据服务器高可用性与元数据可靠性往往是此类系统所要解决的难点。本文以监控视频流存储为背景,围绕海量流数据存储系统的元数据服务器,关注元数据高可靠性和元数据服务器高可用性方面的研究。主要工作如下:1.基于VBSM块设备的高可靠元数据管理模型。通过VBSM块设备,将元数据服务器与元数据的持久化存储分离。使用VBSM块设备作为元数据的持久化存储载体,底层分布式集群对块设备内元数据提供多副本容错;元数据服务器程序负责保证内存中元数据的正确性,并通过定时刷新与立即刷新相结合的方式将内存中元数据持久化至块设备内。相比于传统存储系统使用本机磁盘或者数据库作为元数据的存储,可以极大地提高元数据的可靠性;2.多策略双机热备方法。首先通过快/慢结合的心跳机制,完成主备协商,状态监测以及服务器模式的切换;另外借助与数据库的时间同步机制实现对运行状态的第二重心跳检测,避免脑裂问题;3.设计并实现了海量流数据存储系统的核心:元数据服务器。元数据服务器程序集合元数据管理、任务调度、数据缓冲节点管理、双机热备和故障检测及任务迁移五部分功能,并作为系统的管理者,与存储系统中的其他节点(客户端、数据缓冲节点)进行交互;4.本文对海量流数据存储系统元数据服务器进行了功能测试、可靠性测试及性能测试,并对测试结果进行了详细分析。