论文部分内容阅读
随着显示技术几十年来的蓬勃发展,不仅显示画面从单调的黑白变得多彩缤纷,显示媒介也朝着多种多样的方向发展。近年来,VR眼镜等头戴式显示设备和虚拟现实等新型技术涌现,使得作为其图像源的全景图像成为研究热门。显示技术的革新为新型的全景显示提供了新的可能。因此为了匹配未来新型全景显示的研究,本文提出并设计了一种“空间拼接式全景显示系统”原型,将全景图像从带有畸变的存储格式中提取出来,映射到具有空间角的各个拼接子屏幕上,能够使360度的全景图像“投影”到拼接屏构成的“弧面”上,给观看者带来一种非头戴式的“裸眼”全景观看体验。此外,本文针对全景显示的特点,将深度学习超分辨率算法应用到系统中,解决原始全景图像的分辨率不均匀问题,增强了显示画面的质量。本课题的主要工作和成果总结如下:
1)硬件部分:
在全景显示系统原型概念下搭建了由4个显示屏拼接组成的演示系统,并对应完成了基于FPGA的全高清视频分割设计。本文基于DDR存储器和FPGA,实现了1路1080P视频输入,4路1080P输出的视频分割功能,为空间拼接式全景显示系统演示样机提供硬件支持。针对5路1080P视频的高计算速度和高吞吐带宽问题,本设计首先利用视频存入和读取的时序对称性,将输入输出缓存合二为一;其次,利用FIFO的多级行缓存,从电路层面实现了“重采样插值”,使得输出分辨率还原到1080P,以适配高清显示设备。整个功能均使用Verilog设计完成,所用的计算资源少。
2)软件部分:
A)基于通用型视频提取的拼接式全景显示算法设计。本文研究了全景图像的成像模型和投影特点,基于多屏幕拼接的特点,研究设计了“反投影”算法,将输入的ERP格式全景视频,通过该算法进行源图像的提取和校正,将经过处理的图像,对应分配到多个子屏幕中,使多个空间拼接屏构成的显示画面,满足“透视”观感。本算法能够实现任意数量屏幕拼接,本文使用含4个典型视角的屏幕拼接验证其性能。在测试结果中,画面的平均线性度达0.961,基本满足观看者的“透视”需求。
B)基于深度学习的全景超分辨率算法设计。全景图像投影存储格式的局限,造成其空间各向分辨率不均,本文为提高全景显示的观感,研究了超分辨率算法在全景领域的应用。本文基于ESPCN算法,从图像的降质模型考虑,结合全景图像的特点,针对性改进了算法:构造了具有全景降质特点的数据集PanoramaPair,优化了损失函数,并提出了全景图像质量评价参数PW-PSNR。改进后的算法在数据集PanoramaPair上的PSNR值为27.89dB,比SRCNN在其上的值26.86高1.03dB,比ESPCN高0.92dB。改进算法的PW-PSNR为29.94dB,比SRCNN和ESPCN都高了4dB。
全景显示系统演示样机已具有良好的实时性性能,当输入全景源为1080P且仅使用显示算法时,能够实现75FPS的帧率,每帧耗时仅为13.4ms;系统中的超分算法也具有实时性,当输入分辨率为960x540,且2倍超分到1080P输出时,每帧耗时为10.9ms,算法速度是SRCNN的17倍。
1)硬件部分:
在全景显示系统原型概念下搭建了由4个显示屏拼接组成的演示系统,并对应完成了基于FPGA的全高清视频分割设计。本文基于DDR存储器和FPGA,实现了1路1080P视频输入,4路1080P输出的视频分割功能,为空间拼接式全景显示系统演示样机提供硬件支持。针对5路1080P视频的高计算速度和高吞吐带宽问题,本设计首先利用视频存入和读取的时序对称性,将输入输出缓存合二为一;其次,利用FIFO的多级行缓存,从电路层面实现了“重采样插值”,使得输出分辨率还原到1080P,以适配高清显示设备。整个功能均使用Verilog设计完成,所用的计算资源少。
2)软件部分:
A)基于通用型视频提取的拼接式全景显示算法设计。本文研究了全景图像的成像模型和投影特点,基于多屏幕拼接的特点,研究设计了“反投影”算法,将输入的ERP格式全景视频,通过该算法进行源图像的提取和校正,将经过处理的图像,对应分配到多个子屏幕中,使多个空间拼接屏构成的显示画面,满足“透视”观感。本算法能够实现任意数量屏幕拼接,本文使用含4个典型视角的屏幕拼接验证其性能。在测试结果中,画面的平均线性度达0.961,基本满足观看者的“透视”需求。
B)基于深度学习的全景超分辨率算法设计。全景图像投影存储格式的局限,造成其空间各向分辨率不均,本文为提高全景显示的观感,研究了超分辨率算法在全景领域的应用。本文基于ESPCN算法,从图像的降质模型考虑,结合全景图像的特点,针对性改进了算法:构造了具有全景降质特点的数据集PanoramaPair,优化了损失函数,并提出了全景图像质量评价参数PW-PSNR。改进后的算法在数据集PanoramaPair上的PSNR值为27.89dB,比SRCNN在其上的值26.86高1.03dB,比ESPCN高0.92dB。改进算法的PW-PSNR为29.94dB,比SRCNN和ESPCN都高了4dB。
全景显示系统演示样机已具有良好的实时性性能,当输入全景源为1080P且仅使用显示算法时,能够实现75FPS的帧率,每帧耗时仅为13.4ms;系统中的超分算法也具有实时性,当输入分辨率为960x540,且2倍超分到1080P输出时,每帧耗时为10.9ms,算法速度是SRCNN的17倍。