面向室外图像的人体姿态估计算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:cuileidan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息的过程,计算的结果分为二维和三维两种情况,本文主要研究单张室外RGB图像的三维人体姿态估计问题,即计算在单张RGB图像中人体各关节点的三维坐标信息,重建人体的三维姿态模型。但是由于数据集标注困难,在三维人体姿态估计领域,缺少室外非受限场景下采集的具有三维信息标注的数据集。针对数据集缺失问题,本课题借鉴一种基于弱监督迁移学习进行室外图像的三维人体姿态估计的方法,以室外复杂场景下具有二维信息标注的数据集和具有三维信息的室内数据集同时作为训练数据,得到一个端到端的三维人体姿态估计模型,实现对室外复杂场景下的三维人体姿态模型的重建。在模型架构方面,弱监督迁移学习采用两阶段方法,2D姿态估计子模型采用堆叠沙漏模型完成2D姿态估计和主要的特征提取工作,输出的2D姿态信息和中间特征将会共享给深度回归模型,进行深度信息的回归。本文研究分析了弱监督迁移学习方法的基本原理和流程,并多次使用相同参数对模型进行训练和测试,发现模型具有收敛曲线波动大、训练及测试结果差异大的特点。在迁移学习领域,提取的特征是否“普适”对于迁移学习模型的精度和鲁棒性有很大影响。所以为提高模型精度和模型鲁棒性,本文借鉴自步学习思想提出了一种自步式迁移学习方法,考虑训练样本输入顺序对最终模型性能及鲁棒性的影响,“由易到难、先快后慢”的对样本空间进行学习,克服了模型鲁棒性差的问题,同时一定程度提升了模型精度。深度回归子模型采用堆叠沙漏模型提取的中间特征对深度信息进行回归,但堆叠沙漏模型主要解决二维姿态估计问题,中间特征对深度信息表达能力较弱。本文借鉴SENet模块结构,提出反馈式特征权重重分配策略,不仅增强特征深度信息表达能力,而且增强前后样本特征关联性,提升模型鲁棒性。同时在上采样阶段采用双线性插值方法,增强模型特征表达能力,为深度回归环节提供了良好的基础。本文主要使用MPII、Human3.6M公开数据集进行训练,使用Human3.6M、MPI-INF-3DHP公开数据集的测试集进行模型测试。实验结果证实了本文改进后的自步式迁移学习模型能够有效提升人体姿态估计模型的重建精度。在Human3.6M公开数据集上进行测试时MPJPE为60.69mm,PCKh达到92.3%,相对基准模型分别提升了4.21 mm和0.7%。在MPI-INF-3DHP公开数据集上进行测试时MPJPE为41.35mm,PCKh达到90.84%,相对基准模型分别提升了17.35 mm和6.22%。
其他文献
色光在科研、生产、生活中被广泛应用,如彩色电视成像系统空间分辨力检测、商场灯光渲染、投影等场合。随着对色彩应用要求的提高,对色光的色彩进行高精度控制是非常必要的。本文设计了复色光的色彩控制系统,开展了色彩控制技术相关的理论计算、方案设计、实验系统搭建和控制方法研究等四个方面的研究,具体内容如下:一、通过对色度学基本原理的研究,分析了颜色空间和颜色空间转换的特点,确定线性空间CIE1931 XYZ作
乌克兰是一个农业大国。国内粮食生产高度结合可持续的外部需求使乌克兰成为世界主要粮食供应国的一组国家。与此同时,国内粮食市场的出口因素很难夸大它,因为外部供应是利用
太赫兹波由于其在生物医学、安全检查、通信技术等方面潜在的应用价值,成为目前热门的研究领域之一,而太赫兹源技术是其中一个重要也是最基本的研究方向。非线性光学差频技术由于高效、高功率、精简的结构以及可调谐等优点,成为了研发太赫兹辐射源的一种重要技术,而如何实现差频过程中的相位匹配是一个关键问题。腔相位匹配(CPM)技术在近年来得以实验验证,并展现出在制备小型太赫兹源方面的潜在优势。而目前的研究报导中鲜
由于稀土化合物具有优异的光谱性质,而具有3d10电子组态的过渡金属Cd2+离子能够与有机配体之间通过能量传递而具有较好的发光性能,因此本课题选用含氮杂环羧酸类配体和镧系及
金属有机多面体结构的设计合成及其在传感、识别、催化、活性物种稳定化等方面的应用受到了科学家们的广泛关注。传统金属有机多面体由具有固定配位构型的过渡金属构成,其中
本文分别提出了圆形区域和球形区域上特征值问题有效的谱Galerkin逼近。对于圆形区域,我们提出了steklov特征值问题的谱Galerkin逼近和严格的误差分析。首先,我们利用极坐标变换和变量分离技巧把原问题化为一系列等价的一维特征值问题,而且这些一维的特征值问题是相互独立的,从而可以并行地求解。然后,我们推导了极条件并根据极条件引入了相应的带权Sobolev空间。结合正交多项式的逼近性质,我们
张量理论在数据挖掘与处理、神经网络、图像处理、化学计量和心理测量、物理学中的弹性分析等领域中有着不可或缺的作用.特别地,强?-张量的判定问题作为张量理论的一个组成部分在判定多元偶次齐次多项式正定性问题中起着至关重要的作用.然而,强?-张量的判定问题存在着诸多困难.因此,判定一个张量是否为强?-张量具有重要的理论意义和实际应用背景.本文主要研究强?-张量的判定问题.首先,给出一种新的强?-张量迭代判
近年来,企业对智能客服的需求越来越旺盛。传统交互中客户需要和多个部门打交道,低效、成本高,未来交互可以通过智能客服系统来快速准确地过滤用户的大部分需求,从而减少对人
有机-金属碘化物杂化型聚合物因在光电转换、刺激响应、铁电、非线性光学材料等领域具有广阔的应用前景,成为材料科学领域研究的热点之一。特别值得关注的是可用于光信号处理
随着网络的飞速发展,在网络上表达情绪的人日益增多。现有的文本情感分析系统虽然能够正确分类大部分文本的情感极性。但是当文本中存在讽刺时,现有系统往往会产生错误分类结