论文部分内容阅读
随着互联网的发展,网络教学系统需求十分旺盛,视频教学素材的处理成为比较重要的研究和应用领域。教师在对1080P或4K的视频素材进行处理时面临巨大挑战;此外部分教学内容还存在隐私保护的问题。实验室承担的广东省中医院“名老中医保护传承”的项目中,不但对高性能实时视频处理有较高的需求,还需对教学视频中的病人进行一定的隐私保护。论文针对以上教学视频素材处理的问题,开展“人眼自动识别打马赛克”的相关算法研究,让保护视频的病人隐私算法可以达到实时或接近实时地自动处理,同时研究并实现了一个基于云存储的分布式高性能教学视频处理系统,借助GPU云端处理系统,支持多名教师在学习系统的网课制作过程中,利用云端对教学视频内容进行转码、调整分辨率等以满足不同的视频传输带宽需求。本文的主要贡献如下:1、本文研究并实现了一个完整的“人眼自动打马赛克”,保护人的隐私系统,该系统分别由人脸检测、人脸验证和人眼特征点检测三部分组成。人脸检测算法主要基于Face Boxes(脸框)网络结构进行改进,改进之后,以运算时间轻微提升作为代价,将平均准确率由86.4%提高到90.4%。人脸验证算法基于Mobile Face Nets(移动人脸网络)进行改进,使得人脸验证准确率几乎保持不变的情况下,CPU的运算速度提升了近4倍,由38FPS提高到132FPS。人眼特征点检测模块我们设计了一个6层的神经网络用于从人脸中检测出18个人眼特征点。最终我们将三个模块组成完整的人眼自动打马赛克系统,该系统可以对1024×1024分辨率的视频实现CPU上94.3ms/帧和GPU上18.9ms/帧的速度(达到每秒25帧的实时处理速度),并且对中医诊断视频中患者打马赛克的准确率达到了83.4%的平均交并比,初步满足了要求。此外我们还在早期就提出对打马赛克的人脸进行人脸验证实验的思路(基本上与对抗神经网络概念类似);2、本文完成了一个支持多用户和多任务的基于云存储的分布式教学视频处理系统,该系统将本地教学视频处理任务转移到云端,并且利用GPU的硬件加速能力,实现了视频裁剪、转码、调整分辨率、调整比特率和人眼打马赛克等功能的加速。实验表明,单任务模式下GPU加速后的视频处理系统相对于个人PC提高了至少5倍以上速度,处理后的素材,可以直接传送给教学平台,极大提高了教学视频处理效率,也避免了教师在个人计算机上的摸索。以上的算法和系统已经完成,针对该系统申请了一个软著和一个专利,主要工作在2019年12月8日参加了“第五届下一代互联网技术创新比赛”并且荣获了全国二等奖,全国排名第4名。目前本系统已经投入试用,并取得了较好的效果。