基于单目相机的人体三维重建算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:emydisk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体三维重建作为计算机视觉的一个子领域在最近几年发展迅速,其应用领域也愈发广泛。一方面,这项研究对人们日常生活和工作的方方面面都提供了非常多的帮助。另一方面,这项工作在科研领域也为计算机理解人体三维信息,认知三维世界提供了可能,是未来计算机视觉变革的前沿。为了解决现有的人体三维重建方法存在的耗时长,精度低等问题,本课题在已有的基于深度信息的人体三维点云重建算法的基础上提出了新的基于单目相机的人体稠密三维点云重建方法。对于基于深度学习的人体三维模型重建算法,提出了新的特征点提取方法,加入了新的约束,进一步优化了极端姿态的重建效果。此外,还对比了这两种重建算法的优劣之处,展望了后续的研究工作方向。具体研究内容如下:1)针对人体三维点云重建方法的低精度和高耗时问题以及对设备和环境光线的高依赖问题,本文提出了基于单目相机的稠密人体三维点云重建方法。首先,对实验设备单目相机进行了标定,并采集了人体图片序列作为输入。然后选用SIFT特征点描述子提取特征点并完成匹配。针对误匹配情况和单目相机带来的问题,进行了背景分割等图像预处理。在重建的稀疏点云的基础上,提出了基于区域生长的点云稠密化方法,最终得到了稠密的人体三维点云重建。最后分析了基于单目相机的人体三维点云算法的优缺点。2)使用深度神经网络提取了人体特征点用于后续的三维模型参数估计。作为人体模型重建的基础,二维特征点提取是重要环节。本文首先介绍了面部的特征点的提取工作,提出了结合级联神经网络和轻量级网络对多尺度多人脸图片进行特征点匹配的方法。然后介绍了对手部特征点的提取,结合级联神经网络和手部关节点检测模型对手部关节点进行提取。最后训练了堆叠沙漏网络识别人体关节点和双脚特征点。针对各部分网络,分别进行了对应的数据集预处理,包括尺度变换,图像增强,训练集融合等工作,最后完成了二维特征点的精确检测。3)在利用特征点估计人体三维模型的基础上,针对人体三维模型重建在极端姿态方面不够精准的问题,提出了新的约束,优化了极端姿态的重建效果。首先,将面部特征点和手脚特征点这些能够体现重建细节的部分加入到人体三维模型姿态恢复工作中,重建出姿态正确,细节完整的三维人体模型。然后,针对本课题遇到的极端姿态,提出了一些改进方法,在保证高效重建的同时,优化了人体三维重建的效果。
其他文献
关于时空轨迹的查询的研究已经进行了数十年。然而,如何测量轨迹的相似性,以及如何有效地表示和索引轨迹仍然是个问题。对于第一个问题,我们讨论了插值不变性的性质,并提出了具有该性质的两种距离。对于第二个问题,我们提出了Trajectory Representing and Indexing(TRI)框架来管理时空轨迹。在这种框架下,首先,轨迹将根据我们的成本估算函数被切分为子轨迹;其次,子轨迹将由一种新
区块链技术是近年来的一个新兴技术与前沿热点,其中区块链隐私保护机制是一个研究热点。传统的区块链只实现了最简单的假名性,不能满足区块链用户日益增长的隐私需求。为了解决这一问题,多种区块链隐私保护机制被提出,比如混币机制、环签名机制、零知识证明机制等。基于环签名的区块链隐私保护机制是其中很重要的一种机制,它通过引入混合地址与真实输入一起形成一个环,然后生成环签名将真实输入隐藏起来。基于环签名的区块链隐
三维人体姿态识别是计算机视觉领域一个非常重要的问题,也是智能人机交互领域的核心技术之一。近年来,人体姿态识别技术发展迅速,二维人体姿态识别准确度不断提升,为三维人体姿态识别提供了新的可能。几何模型在三维计算机视觉领域具有两个主要内涵:其一是相机与成像关系的几何模型,其二是观测目标的几何模型。对于相机视角而言,现有的三维人体姿态数据集相机视角多样性有限,现有方法容易陷入视角耦合的困境,因此需要在流程
随着中国人口老龄化进程的不断加快,老龄患者对医疗的需求正在不断上升,相对应的高龄手术例数也呈逐年上升趋势,虽然当今医疗水平技术飞速发展,手术风险依旧存在。尤其对于高龄患者而言,由于身体素质原因同时伴有大量慢性病,使得手术风险大大增加,对于高龄患者的手术医生往往十分慎重。然而高龄患者对长寿的期望越来越高,想通过手术改善生活质量的意愿也越来越强烈,故在术前做好相应的风险评估显得尤为重要。传统的手术风险
随着人工智能技术的高速发展,人们对自然语言理解、解析和生成的要求也越来越多。而对于四则运算应用题自然语言描述的方法或模型这方面的研究却是少之又少。基于这样的背景条件下,通过研究四则运算应用题文本的特征属性,从中归纳总结出从数字关系到应用题文本自然语言描述的方法或模型,这为本次研究提供了意义。对四则运算应用题文本自动生成方法的研究,主要先从对四则运算表达式开始的,总结出其表达式均由最小单元复合而成。
人脸识别是计算机视觉领域中十分重要的研究方向。人脸特征作为辨识性很高的生物特征,具有非接触式、不易更改、直接等优点,广泛应用于安防、刑侦、电子认证、银行交易等领域中。目前,受限场景下的人脸识别技术发展迅速,在研究和应用上都达到了很好的效果,而随着研究的深入,自然场景下的人脸识别成为了最为广泛且十分重要的需求。受限场景对于采集环境要求较高,自然场景中往往无法满足,其采集的人脸受到多种因素的影响,如表
随着软件开发技术的不断进步,测试验证方法和手段也需要不断完善,常见的负载压力测试已被广泛应用于服务器、Web应用、各类信息系统、网络系统等领域。但是专门针对嵌入式实时操作系统的相应负载压力测试研究还不够广泛和深入。中电32所自主研发的ReWorks嵌入式实时操作系统已被广泛应用于轨道交通、信息系统和工业机器等多种行业中,并被国防军事领域的多型装备所采用,是装备国产化的典型代表。,没有考虑到该操作系
通常软件测试中大部分工作是耗时耗力,其中最代价最高的是错误的定位,而在错误定位上的技术改进能降低测试的工作负荷。目前程序错误定位的方法主要包含基于程序动静态切片,基于程序频谱的语句分析方法等。动态切片由于可以通过分析目标行变量在测试运行过程中的依赖关系,去除不影响目标行变量结果的语句,将关注点转移到相关程序语句以减少考察范围。而基于频谱的软件错误方法(SFL)源于聚类分析中的相似一致性原理,相似性
面部肌肉、神经损伤的患者会出现表情扭曲现象,严重影响了患者的日常生活。对于患者而言,长期定时前往医院进行康复状况检查,需花费大量时间金钱。并且患者面对医生时可能由于紧张、害怕等心理因素导致无法表现出最好的状态,使康复状况评估不够准确。对于医生而言,为病人评估康复状况属于重复性基础工作,占用大量门诊时间,减少接诊病人数量。另外,目前诊疗以医生主观判断为主,尚没有一套客观评价体系能够对病人训练效果进行