【摘 要】
：
目前电视芯片中的VPU（Video Processing Unit,视频处理单元）包含了色彩调节、锐化、降噪、细节增强等模块,其中VPU对提升电视画面质量、画面细节和色彩等方面有重要作用。但是通常情况下对电视画质的调节一次都只能设置一组VPU控制参数来适配所有画面,很难做到所有场景的画质都达到最优。为了能对不同的场景做相应的画质处理,实现所有场景共同最优化,本论文提出将人工智能、图像分类与VPU控
论文部分内容阅读
目前电视芯片中的VPU（Video Processing Unit,视频处理单元）包含了色彩调节、锐化、降噪、细节增强等模块,其中VPU对提升电视画面质量、画面细节和色彩等方面有重要作用。但是通常情况下对电视画质的调节一次都只能设置一组VPU控制参数来适配所有画面,很难做到所有场景的画质都达到最优。为了能对不同的场景做相应的画质处理,实现所有场景共同最优化,本论文提出将人工智能、图像分类与VPU控制参数三者相结合的方法来实现视频场景共同最优化。该方法主要通过深度学习算法中的卷积神经网络进行视频图像的场景识别,根据场景类别匹配最优的PQ（Picture Quality,图像质量）参数,从而达到画质最优。主要研究内容包括视频场景划分、分类数据集制作,建立场景分类的卷积神经网络模型,进行模型训练、测试、优化及模型压缩,在硬件平台进行硬件适配、可用性测试及推理正确性测试,最终进行场景响应及PQ参数匹配,实现视频图像画质共同增强的效果。本论文的研究过程及研究成果如下:1、从视频场景中划分出18种常见场景作为场景识别时的图像类别,利用视频抽帧、网络爬虫及开源数据集等方式获取并归类了32万张图像用作于场景分类数据集。其中重点关注Skin、Blue、Green、Colorful、Architecture、Nightscape等6种分类的识别效果与准确率,也仅对这六种场景做PQ画质增强处理。2、通过理论分析和实验对比的方法确定轻量级网络模型Mobile Net V2为最合适的网络框架,在此框架上建立了分类网络,并通过实验对比确定了最佳的训练超参数值和最高效的模型训练方式。训练过程中,主要进行了浮点训练和量化训练,得到大小为2.3MB分类模型,测试其推理速度为4.0毫秒/帧,实时场景识别响应的精确度为90%。3、为了进一步加快模型推理速度,在不影响模型精度地前提下又进行了模型剪枝和网络量化相结合的模型压缩训练,有效地将模型推理速度提升至2.0毫秒/帧、模型大小减小至2.0MB,而模型精度稳定在90.83%。4、将网络模型嵌入TV芯片,实现硬件端的实时场景响应并自动匹配对应的PQ参数来改善图像的饱和度、亮度、对比度以及增强暗场景的细节等等。经过处理后的视频可明显看出其色彩饱和度、清晰度和细节的整体提升。本课题主要解决了VPU单元无法对不同场景达到共同最优化的问题,通过人工智能中的CNN（Convolutinal Neural Networks,卷积神经网络网络）网络进行视频场景识别,根据识别结果来实现视频图像画质的动态调节,实现了对skin、blue、green、colorful、architecture、nightscape等六种场景画质共同调优的效果,未来可以在此研究的基础上继续改进PQ策略,增加更多图像画质参数的处理方案,使用更多的图像来丰富数据集和增加更多的分类,实现对更多场景的化处理。本课题对其他利用人工智能技术进行视频图像处理的研究也具有一定的参考意义。
其他文献
近年来,由于抗生素及免疫抑制剂在临床中的广泛使用,真菌感染的发病率逐年上升。目前,真菌的形态学检测手段仍依赖人工,并不能满足现阶段需求。因此,有关真菌检测的研究对真菌感染的及时发现和对症治疗有重要的现实意义。目前对真菌检测的研究多采用特征工程的方法。该类方法需要针对特定真菌的形态,通过人工设计提取特征信息对真菌进行分类识别。这些传统方法无论是在精度上,还是在适用性上都无法满足人们的要求。随着深度学
随着对海洋的探索不断深入,面向海洋信息收集监测的各类新型海上浮标、传感器不断涌现,传递信息从早期的低速传感器信息逐步演进至高速传感器数据、图像、视频等业务,人们对海上通信的质量与速率要求越来越高。另一方面,海上信道环境恶劣、设备功耗受限、频谱资源有限等问题始终是限制海上通信系统发展的重要因素。现有的海上通信系统具有传输效率低、通信成本高等问题。因此,研究近岸海面信道模型及与之适配的调制解调传输技术
我国海域面积宽广,拥有极为丰富的海洋资源。作为渔船在海上通信的主要方式之一,渔用通信系统的发展和改良关系着渔民在海上的生活状态和安全形势。同时,随着物联网技术和流媒体技术的不断发展,人们开始在改良当前的渔用通信系统中,研究具有更多功能的新型渔用综合通信系统,从而提高海上的通信能力。本文首先阐述了物联网技术的概念和特点,以及物联网技术在渔业通信中的研究现状,着重对物联网中的关键技术——集群和负载均衡
恒温晶体振荡器具有体积小、功耗低、短期稳定度好等优点,被广泛用于卫星导航、通信、电子仪器、计量等多个领域。恒温晶体振荡器随着工作时间的增加或温度的变化,其输出频率会发生缓慢地漂移,无法独立应用在授时、守时等高精度领域。本文通过对晶体谐振器两端相移变化特性的研究,提出了一种新的晶体振荡器老化补偿技术。在无需外接参考源的情况下,根据谐振器两端相移的变化特性,实现了恒温晶体振荡器的老化补偿。本文的主要工
目前图像分类技术已经被广泛应用,但是它的主流算法DCNN（Deep Convolution Neural Networks）参数多、计算量大,很难部署到资源有限的嵌入式平台上,限制了图像分类技术在嵌入式平台上的应用,所以研究轻量CNN（Convolution Neural Networks）很有价值。FPGA（Field Programmable Gate Arrays）适合流水并行处理且功耗非常
近岸环境与目标的复合电磁散射特性研究对海洋遥感、地海环境目标探测识别有着重要的意义,也是当今各国学者的研究热点。对于环境与目标的复合散射研究,两者间的相互耦合作用是不可忽视的重要因素,也是进行复合电磁散射计算的重难点。本文主要针对近岸环境和目标复合电磁散射特性进行相关的研究,重点开展了复杂目标的电磁散射特性分析,近岸环境几何建模与电磁散射特性分析以及近岸环境与目标复合散射特性计算与分析三个方面的研
作为构建高可用分布式系统的基础,如何保持系统计算节点之间数据的一致性是当今学术界和工业界共同关注的课题。Raft算法凭借其原理易懂,易于实现等优势,被广泛地应用于解决分布式计算系统中的数据一致性问题。但传统Raft算法采用的强领导者策略,在集群领导者节点发生故障时,会直接影响整个系统的可用性;并且随着系统规模的不断增大,领导者节点也会成为系统的性能瓶颈。针对上述问题,本文以Raft算法为基础,分别
随着人类文明和科学技术的持续发展,现代社会中涌现出越来越多不同类型的复杂系统,它们之间相互依存、彼此影响,共同为人类的生活提供便利。然而,当复杂系统受到攻击时,系统中的部分节点将会失效,可能会引发大面积崩溃,造成不可估量的经济损失。因此,许多学者将这类复杂系统抽象为相依网络模型,并研究其结构拓扑和网络鲁棒性之间的关系。网络鲁棒性是指在遭受攻击或者故障时,网络保持自身功能完整性的能力。尽管此前的科学