拼接式高清全景显示系统设计及超分辨率算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:limida
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着显示技术几十年来的蓬勃发展,不仅显示画面从单调的黑白变得多彩缤纷,显示媒介也朝着多种多样的方向发展。近年来,VR眼镜等头戴式显示设备和虚拟现实等新型技术涌现,使得作为其图像源的全景图像成为研究热门。显示技术的革新为新型的全景显示提供了新的可能。因此为了匹配未来新型全景显示的研究,本文提出并设计了一种“空间拼接式全景显示系统”原型,将全景图像从带有畸变的存储格式中提取出来,映射到具有空间角的各个拼接子屏幕上,能够使360度的全景图像“投影”到拼接屏构成的“弧面”上,给观看者带来一种非头戴式的“裸眼”全景观看体验。此外,本文针对全景显示的特点,将深度学习超分辨率算法应用到系统中,解决原始全景图像的分辨率不均匀问题,增强了显示画面的质量。本课题的主要工作和成果总结如下:
  1)硬件部分:
  在全景显示系统原型概念下搭建了由4个显示屏拼接组成的演示系统,并对应完成了基于FPGA的全高清视频分割设计。本文基于DDR存储器和FPGA,实现了1路1080P视频输入,4路1080P输出的视频分割功能,为空间拼接式全景显示系统演示样机提供硬件支持。针对5路1080P视频的高计算速度和高吞吐带宽问题,本设计首先利用视频存入和读取的时序对称性,将输入输出缓存合二为一;其次,利用FIFO的多级行缓存,从电路层面实现了“重采样插值”,使得输出分辨率还原到1080P,以适配高清显示设备。整个功能均使用Verilog设计完成,所用的计算资源少。
  2)软件部分:
  A)基于通用型视频提取的拼接式全景显示算法设计。本文研究了全景图像的成像模型和投影特点,基于多屏幕拼接的特点,研究设计了“反投影”算法,将输入的ERP格式全景视频,通过该算法进行源图像的提取和校正,将经过处理的图像,对应分配到多个子屏幕中,使多个空间拼接屏构成的显示画面,满足“透视”观感。本算法能够实现任意数量屏幕拼接,本文使用含4个典型视角的屏幕拼接验证其性能。在测试结果中,画面的平均线性度达0.961,基本满足观看者的“透视”需求。
  B)基于深度学习的全景超分辨率算法设计。全景图像投影存储格式的局限,造成其空间各向分辨率不均,本文为提高全景显示的观感,研究了超分辨率算法在全景领域的应用。本文基于ESPCN算法,从图像的降质模型考虑,结合全景图像的特点,针对性改进了算法:构造了具有全景降质特点的数据集PanoramaPair,优化了损失函数,并提出了全景图像质量评价参数PW-PSNR。改进后的算法在数据集PanoramaPair上的PSNR值为27.89dB,比SRCNN在其上的值26.86高1.03dB,比ESPCN高0.92dB。改进算法的PW-PSNR为29.94dB,比SRCNN和ESPCN都高了4dB。
  全景显示系统演示样机已具有良好的实时性性能,当输入全景源为1080P且仅使用显示算法时,能够实现75FPS的帧率,每帧耗时仅为13.4ms;系统中的超分算法也具有实时性,当输入分辨率为960x540,且2倍超分到1080P输出时,每帧耗时为10.9ms,算法速度是SRCNN的17倍。
其他文献
研究背景  在已发现的癌症中,肺癌属于高死亡率的恶性肿瘤之一,该研究领域里,主要有非小细胞肺癌、小细胞肺癌,前者病例远比后者多,二者之比约为3:17。如果可以在早期进行诊断,手术切除后,一般病人可以获得较高的生存率。然而,大多数的患者在确诊肺癌时已经进入癌症晚期。尽管近年来肺癌的免疫学治疗、化疗、靶向药物治疗取得了重大进展,但化疗治疗依然是肺癌治疗的主要手段。然而研究表明,不管是免疫学治疗还是化疗
学位
研究背景  多发性骨骺发育不良(Multiple Epiphyseal Dysplasia,MED)(OMIM 132400)是一种骨软骨发育不良疾病,其遗传方式以常染色体显性遗传为主,部分患者为常染色体隐性遗传。现已发现8个致病基因,分别为COMP基因、COL9A2基因、COL9A3基因、DTDST基因、MATN3基因、COL9A1基因、CANT1基因和COL2A1基因。MED的主要临床表现为轻
研究背景前列腺癌是全球男性发病率第二的恶性肿瘤,也是我国常见的男性生殖系统肿瘤。近年来,随着人们生活方式的改变,人口老龄化及血清前列腺特异性抗原(Prostate specific antigen,PSA)筛查的推广,前列腺癌的发病率快速增长。目前,雄激素剥夺疗法(Androgen deprivation therapy,ADT)是治疗局限性前列腺癌的标准疗法,但大多数患者会出现生化复发或发展为恶
T细胞在整个生命活动中协调适应性免疫的多个方面,包括对病原体、过敏原和肿瘤的免疫反应。胸腺是T细胞发育的主要部位,缺乏CD4+和CD8+表面受体表达的T细胞前体在胸腺进行T细胞受体(T Cell Receptor,TCR)重排,发育成CD4+CD8+双阳性(Double Positive,DP)细胞。DP细胞经过选择过程产生CD4+或CD8+单阳性(Single Positive,SP)细胞,最终
学位
阿尔兹海默症(Alzheimers disease,AD)是一种进行性神经退行性疾病,是最常见的痴呆类型[1]。早期的阿尔兹海默症患者表现为记忆力减退和认知能力下降,并逐步发展为语言及空间认知能力的缺失[2]。阿尔兹海默病具有两个最明显的病理特征:淀粉样蛋白斑(Amyloidβplaques)和神经纤维缠结(Neurofibrillary tangles,NTFs)[2,3]。近年来的研究中表明,
[研究背景]  膀胱癌是世界第四大男性常见恶性肿瘤,是全球的一大疾病负担。在中国,膀胱癌是泌尿系统最常见的恶性肿瘤,占我国泌尿生殖系肿瘤发病率之首。但是近十年来,膀胱癌的诊断治疗和5年生存率几乎没有变化。相对于其他类型的肿瘤,膀胱癌的靶向疗法的研究明显落后。  SIAH1(seven in absentia homolog 1)是一种RING型泛素连接酶,其结构上包含RINGfinger结构域、两
学位
研究背景:  围产期缺氧缺血性脑病(Hypoxia-ischemia encephalopathy, HIE)是新生儿长期智力、运动障碍和死亡的重要原因之一。HIE主要是由新生儿产时窒息引起的,窒息可由多种原因引起,包括异常的子宫收缩、胎盘早剥、脐带受压等。HIE的发病机制涉及兴奋性毒性、炎症和氧化应激的相互作用,导致急性至长期的脑损伤和功能障碍。虽然目前对HIE的机制研究广泛,但治疗效果不佳,因
学位
在中国的社会总能耗中,建筑能耗占有相当一部分比重,而在建筑能耗中,高大空间建筑的空调能耗占比很大,应引起足够的重视。对于这类建筑,如何进行空调送风,使得建筑内部获得合理的气流组织分布,是研究人员一直以来重点关注的问题。高大空间的空调系统存在一定的特殊性,分层空调是其中典型的形式之一。本文在分层空调单侧送风方式前提下,研究高大空间建筑内部气流组织情况,从降低建筑能耗和获得理想的气流组织效果出发,开展
随着国家法规逐步严苛与消费者舒适性需求的日益提升,改善内燃机的NVH性能变得越来越重要。由于内燃机的结构复杂性和传递路径多样性,燃烧噪声的传统分离方法在计算精度方面具有一定局限性。因此通过引入现代信号处理技术,实现对燃烧噪声传递函数和机械噪声的准确分析,对发动机总噪声的预测及其减振降噪具有重要意义。  本文从燃烧噪声的产生机理出发,采用时间窗函数获取各个工况下的燃烧段相关的缸压和声压信号。随后采用
学位