面向高清视频监控的流存储系统设计与实现

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:rwsonny
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着视频监控技术的发展,视频监控数据的存储与处理已成为智慧城市,智慧交通应用中的关键问题。现有的视频监控存储体系架构在应付数量越来越多的高清摄像头上已显得力不从心。在多达上千路高码率视频流的长时间并发写入的场景下,现有的存储系统中磁盘I/O吞吐率已称为严重的瓶颈,随之而来的还有巨大的能源开销和磁盘损耗。这些都是现有的监控视频存储方案中亟待解决的问题。针对这些问题,本文结合当前国内外在海量数据存储方面的研究现状和发展方向,通过分析视频监控数据存储特点和结合现有存储系统架构资源调度方式,设计并实现了面向海量高清视频监控的流存储系统SSTORE,并以此为背景对其内部专门针对监控视频流数据存储所设计的分布式文件系统SFS进行了充分阐述。本文主要工作与创新点有以下几点:1.设计了磁盘分区连续存储模型CSM。该存储模型通过多流并发随机写入调制和分块内存缓冲技术,将磁盘上的并发随机写转换为顺序写,饱和利用磁盘I/O吞吐率。2.通过采用epoll异步事件驱动模型来处理网络IO请求,极大提升了系统网络IO性能。同时设计了线程池结构来实现系统任务调度和网络数据写入与磁盘数据写入的异步操作,增加系统并发处理能力。3.设计并实现了一种基于CSM分区的离线复制机制和磁盘工作调度机制,提升系统运行过程中休眠磁盘所占比率,延长磁盘使用寿命并降低能源开销。4.设计了灵活的副本冗余机制,针对同一块磁盘不同分区速率的差异,让这些分区上的数据备份具有不同的保存周期。充分利用磁盘分区性能的同时,保证了数据的可靠和可用。本文最后通过系统测试对SSTORE的存储性能进行了验证,并与现有常见的视频监控存储系统进行了对比。性能分析显示,SSTORE系统在存储服务性能上具有较大优势,能满足海量高清监控视频流数据的存储需求。
其他文献
随着Internet的迅速发展,博客成了继Email、BBS、QQ/ ICQ之后的新一代网络交流方式,并以极快的速度融入到人们的日常生活中,成为基于互联网的基础服务。随着博客空间的急速增
计算机软硬件及网络技术的发展为数字产品的传播带来极大的便利,但随之而来的负作用是通过网络传输的数字产品很容易被非法使用。软件作为一种数字产品,其版权保护已成为一个
自从“云计算”的概念被提出后,云计算迅速成为IT领域的研究热点。云计算给我们带来了新的计算和服务模式。通过这种模式,用户可以按需访问云上的应用程序和数据。作为云计算
目前,人们对网络服务的要求越来越高,同时这些网络服务也被大量地开发出来。如何管理和整合这些大量的、不断变化的服务成了必须要解决的问题。当前采用的GIS应用系统难于适
随着生物医学技术的快速发展,生物医学方面的文献也快速增长。例如Medline数据库2013包含超过两千万的生物医学文献,而到了2015年,包含的医学文献增加到了二千四百万。对于研
在虚拟仿真场景中,喷泉、火焰、水流、雨、雪等景物具有不规则几何状态、动态性和随机性,这些特殊景观的模型比较复杂,实时播放中的运算量较大。为了保证视景仿真的实时性,对
由于网络环境的复杂性,攻击手段的多样性,单一的安全技术已经无法满足对网络安全的需求。入侵防御系统是网络安全领域为弥补入侵检测系统以及防火墙的不足而新兴发展的一种安
低密度奇偶校验(LDPC)码以其接近香农限的性能和相对简单的译码结构而得到信道编码界的广泛关注。目前,编码复杂度是LDPC码实际应用的主要瓶颈,准循环LDPC(QC-LDPC)码是一类
近年来以P2P技术为核心的软件产品越来越为人们所接受和喜爱,也使P2P网络成为计算机领域研究与关注的一个热点,但是P2P网络中的节点不受约束,节点间存在自愿的交易行为等特点
从一个产品制造的产业链角度,其供应链很长,涉及很多具有供需关系的企业,而这些企业由于不是直接对接,因此一个企业很难获得其上下游合作伙伴的上游或下游企业的信息。然而随