如今视频媒体数据在互联网得到广泛传播,监控摄像头在人们的生活中也被广泛应用,越来越多的企业和研究机构开始研究如何从这些视频数据中挖掘出更多的价值,在未来也会一直是一个重要的研究课题。当前最适合视频大数据场景的处理方法就是在分布式集群中进行处理,为了满足其实时性的特点就需要使用分布式流处理的方式,这种方式具有扩展性高的特点,但是目前主流的大数据分布式流处理框架随着版本的不断迭代已经越来越臃肿,而且没有专门针对视频大数据场景的分布式流处理框架。基于Kafka消息队列、Zookeeper一致性服务系统等分布式技术设计的轻量级分布式流计算框架以及在此流计算框架基础上研究设计的轻量级流计算架构专门应对视频大数据场景,而且具有易部署和动态扩展节点的特点。分布式系统中最重要的算法之一是负载均衡算法,基于深度模型预测的负载均衡算法是在基于实时资源监控的动态负载均衡算法的基础上做了进一步改进。改进后的算法能够有效减小集群中各项资源消耗量的波动,让集群中的各项服务更加稳定。基于HTTP2.0协议以及序列化技术实现的新的分布式进程间的通信方式相比较于传统的基于HTTP1.x协议标准的通信方式,其传输效率更高并且减少了集群中带宽占用,提高集群各个节点的吞吐率。针对实时监控下的现实场景实现的实时视频分析系统能够通过调用基于深度网络模型实现的人脸识别算法,在集群中实时分析监控摄像头视频流,追踪出现在监控摄像头中的监控目标然后实时向前端页面发送通知提醒。