基于深度学习的单幅图像人体三维重建算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:jjJJ012689
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前人体三维重建方法大多采用融合目标多视角图像或视频图像的方式进行研究。这类方法通常需要昂贵的实验设备、复杂的实验场景,因此该类方法难以在实际场景中推广运用。相对而言,利用单幅图像进行人体三维重建的方法便捷高效,更利于在实际项目中使用。本文在当前基于单幅图像进行人体三维重建的方法基础之上进行优化,目的是提升输出人体模型的精度以及恢复人体在着装情况下的模型表面纹理。主要研究工作如下:(1)分析了基于单幅图像进行人体三维重建过程中存在的问题及挑战,根据所设定的目标,对当前的重建方法提出了改进与优化。具体分为:基于图卷积网络的人体三维重建以及引入拉普拉斯网格形变的模型表面纹理重建。(2)针对当前通过模型参数回归来进行人体三维重建的方法中,存在参数回归过程复杂且输出模型缺乏人体外部形状、精度不足的问题,提出了一种搭建稠密图卷积网络来进行人体三维重建的方法。首先根据目前人体特征提取不足的情况,通过使用高分辨率网络,融合网络中各支路的人体特征信息,以提升重建模型精度。接着以稠密连接的方式搭建图卷积神经网络来回归SMPL模型网格顶点的空间坐标,既避开了复杂的参数回归过程,也确保了网络各层之间的特征信息流动率达到最大。最后通过设置多任务损失函数进行监督训练,使输出模型在形状上更接近于图像中的人体,进一步提升了模型精度。(3)针对当前方法重建出的三维人体模型缺乏模型表面纹理的问题,提出了一种基于拉普拉斯网格形变进行纹理重建的方法。首先根据现有的人体网格模型分辨率低,不足以表现复杂模型表面纹理的情况,使用网格细分法对人体网格顶点及面片数量进行拓展,增加模型的精细度。接着通过神经网络从输入图像中获取人体深度信息作为补充,以增加模型表面的高频细节。最后通过拉普拉斯网格形变的方式进行表面纹理重建,以达到丰富人体模型表达能力的效果。并且通过二维关节及外部形状损失对人体重建过程进行监督,以保证输出模型的关节位置以及人体外部形状不会受到纹理重建过程的影响。实验结果表明,经过方法优化后生成的人体三维模型,在关节误差及重建误差两项评估指标上分别比先前的方法提升了3.6mm和4.2mm。表面细节更为丰富,相比于优化前的人体模型真实感强,更适于在实际场景中使用。
其他文献
对于多媒体服务而言,触觉感知愈发重要。触觉感知融合音频和视频,可以构建更具沉浸式的多媒体用户体验。随着触觉感知需求及相关软硬件交互设备的发展,需要传输的触觉数据规模越来越大。为支撑媒体流的传输和触觉感知信号的再现,触觉感知编解码技术显得尤为必要。但现阶段触觉感知信号的研究还未达到较高水平,特别是该领域的编解码方案压缩性能有限。为解决该问题,本文分析了动觉信号,即触觉感知信号的两种主要类型之一,发现
学位
伴随着科技的进步,医疗环境的改善,肺癌的死亡率和发病率都有所下降,但数据表明肺癌的死亡人数依然占据癌症死亡和发病人数排行榜的首位或次位。在肺癌的检查和诊断中,肺结节是肺癌的表现形式,当肺结节呈恶性时,就表明病人患上了肺癌。肺癌的形成是一个漫长的过程,是多种因素导致的过程,有早期、中期和晚期之分,通常认为肺癌早期的生存率更高,因此肺结节的“早发现,早治疗”就显得尤为重要。本文围绕肺结节的检测与分类展
学位
步态是指人体行走时的姿态,也可以说是人体运动过程中的一种生物特征。其中包含了大量的运动信息,这些信息可以应用于生物认证、临床、人机交互等多个领域。在临床方面,步态分析主要用于辅助医生对正常步态和异常步态进行辨识以及帮助病人进行康复训练。髌骨疼痛综合症(PFPS)是一种临床上最为常见的膝关节疾病,患者会因疼痛而导致异常步态。我国髌骨疼痛患者数量庞大,早期并精确地检测出髌骨疼痛可以防止该疾病的进一步恶
学位
为了实现便捷的充电,以无线能量传输技术为基础的无线充电方式引起人们的广泛关注,并成为当前研究的热点。由于电池的物理特性,负载参数如阻抗在充电过程不可避免会发生变化,为了实现负载恒流充电,需要设计补偿网络进行调整。为了解决多负载、多中继、中继混合负载传输环境下负载恒流的问题,本文基于T型补偿拓扑网络,搭建了无线充电中继传输的研究模型,并结合三种实际应用场景展开研究,主要的研究工作和贡献概述如下:(1
学位
森林地表火蔓延是森林火灾的重要形式,风作为影响林火蔓延的重要因素备受研究者的关注。风是动态因子,主导林火的蔓延速度和方向,它与林火之间存在复杂的双向耦合作用。然而,传统的林火蔓延模拟系统并不考虑这一作用,导致模拟的准确性和真实性不足,而现有的林火-风双向耦合模拟方法又存在计算量大、耗时长等问题。为解决这些问题,本课题研究并提出一种全新的林火-风双向耦合模拟方法,同时搭建一套微尺度风数据采集平台,并
学位
车辆再识别作为智慧城市的核心技术之一,目的是在多个不重叠的相机视图中检索出感兴趣的车辆。当前突出的算法通常先对数据集进行大量的人工标注,让模型在额外标注的辅助下,能够更精确的关注到局部细节信息,进而提升最终的测试性能。但是额外的人工标注不仅十分耗费资源,还会降低模型的泛化能力。针对以上问题,本文在福建省与福州市重点科技项目(2018H0018、2020-GX-17)的支持下,围绕基于深度学习的车辆
学位
随着城市交通的迅猛发展,要实现对交通状况直观、高效的管理,交通视频监控已成为必不可少的技术手段。针对交通路口的视频监控,传统多路视频组成电视墙的监控方式,存在视频利用率低、单个摄像头视野局限性、信息缺失以及多视角显示凌乱等问题。全景视频是将多个视频流的重叠区域进行拼接,能在不降低分辨率的同时有效扩大监控人员的视野,已成为交通监控领域的研究热点。本文在分析交通视频监控需求的基础上,研究了视频拼接的相
学位
多线圈磁谐振传输系统凭借着安全灵活、传输距离远的特点,引起了广大研究学者的关注。多线圈的结构非常适合采用波束赋形技术来提高传输距离和效率。如何在多个线圈中分配发射功率,是波束赋形设计中最重要的一个问题。因此,本文以多线圈磁耦合谐振传输系统的波束赋形策略为研究对象,针对物联网中的应用场景,设计了三种磁波束赋形优化方案。论文的研究内容和贡献如下:(1)针对单中继单接收机的无线能量传输应用场景,提出了一
学位
当今时代,人们追求更佳的视觉体验和更丰富的信息,现有的灰度图像着色算法可分为基于用户引导的颜色传播类算法、基于参考信息的半自动着色算法和基于数据和算力驱动的自动图像着色算法。前两种算法由于其本身的特点,而受限于使用场景和规模程度,第三类算法是顺应时代发展的产物,结合人工智能算法的研究进展、图像显卡设备的性能突破和大数据时代的到来,基于深度学习的灰度图像自动着色算法表现优异,从众多方法研究中脱颖而出
学位
行人再识别用于解决在不同摄像头中匹配出相同个体的问题,是跟踪抢劫、防止恐怖袭击等安全关键事件研究的核心技术。然而,它面临着数据集规模小、错位影响、光照强度变化、背景干扰等多种巨大挑战。本文的目标是研究并实现具有鲁棒性且性能优越的行人再识别算法,为现有数据集背景噪声大和规模小的问题提供解决方案。针对以上问题本文在福建省科技厅项目(2018H0018)和福州市科技局项目(2020-GX-17)的支持下
学位