基于骨架空间约束的人体姿态迁移算法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:gx8689326
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态迁移是一个新兴的研究问题,探索如何将图像中的人物从一个给定的初始姿态转换到另一个指定的姿态,并保留真实准确的纹理信息。该技术在电影编辑、虚拟现实、媒体制作等领域具有巨大的应用潜力。随着深度学习和生成模型的快速发展,越来越多的学者开始致力于这一研究方向。不同于普通物体,人体具有非刚性的特性。在人体姿态迁移任务中,从一个姿态迁移至另一个姿态是一个非线性的过程,因此传统图像生成方法难以对该任务进行有效处理,而深度学习方法的出现有效的解决了这一难题。其中,自编码器和生成对抗网络模型是应用最为广泛的深度学习模型。目前人体姿态迁移常用的方法为基于条件式生成对抗网络的生成模型。值得注意的是,大多数人体姿态迁移模型没有考虑充分利用初始人体姿态和目标姿态之间的几何约束,因此这些模型很难将参考图像中的内容准确地迁移到目标图像中的位置,生成更加真实的图像。针对这一问题,本文提出一种基于骨架序列的人体姿态迁移模型,设计了几何编码器模块加强空间约束,有效地提高了生成图像的质量。本文的主要工作包括以下两个方面:(1)针对目前人体姿态迁移模型忽略了初始姿态和目标姿态之间的几何约束信息的问题,本文提出一种基于骨架序列的人体姿态迁移模型。该模型首先使用线性插值算法生成一个姿态骨架序列,以渐变方式有效地表达初始姿态和目标姿态之间的几何约束。针对生成的骨架序列,引入了3D卷积网络进行编码,有效地学习到了骨架序列之中隐含的时空特征,并指导目标人物图像的生成。本模型充分利用了姿态间的几何约束,获得了更好的图像生成效果。(2)基于对骨架序列信息利用效率的考虑,本文进一步提出了基于V-编码器的人体姿态迁移模型。V-编码器充分利用了骨架序列中的每一骨架帧的信息,基于骨架相邻帧的相似性,将大空间扭曲变换转换成多个小空间上的变换,使姿态迁移过程变得平滑,从而有效提高对骨架序列信息的利用效率,进一步提高图像生成的质量。以上模型均在Market-1501数据集上进行实验。与已有模型相比,基于骨架序列及3D卷积编码器的人体姿态迁移模型和基于V-编码器的人体姿态迁移模型均要优于现有模型,IS分数提高了3.9%,生成的图像质量更高。
其他文献
植物品种分类是植物资源调查、作物育种等研究的基础。作为植物最重要的器官之一,叶片一直是识别不同植物的关键依据。近年来基于叶片图像的植物分类研究得到了广泛关注,并取得了显著成果。但是现有研究多关注于不同物种的区分,缺少能够准确区分同一个物种下不同品种叶片的分类方法。与物种间的叶片分类相比,品种间叶片分类是一种更细粒度的分类问题,其面临着不同品种间叶片相似度较高的挑战。因此实现品种间叶片分类的关键在于
学位
网约车打车已成为人们生活出行的重要方式之一,如何合理地将乘客发起的订单和现有的车辆进行匹配以及如何给乘客进行定价是网约车打车服务中的关键问题。在网约车打车环境中,乘客会提交出行订单请求,包括乘客愿意为出行服务支付的最大价格(即订单对该乘客的价值)。网约车平台将乘客提交的订单与车辆进行匹配,并对获得匹配的订单进行定价,最大化平台和乘客的社会福利。在此环境下,乘客为了提高自身的收益可能会虚假地提交自身
学位
车牌检测是智慧城市、智能交通系统中的一项不可或缺的主要支撑技术,已经逐步应用于停车场出入口、天网监控、高速公路收费管理站等场景。尽管很多科学工作重点都集中从视频序列中检测车牌,但在设计一个跟踪方案来进一步定位车牌检测中漏检的车牌以提高检测率方面却鲜有工作。在现有的研究基础上,面向监控视频的车牌检测与跟踪存在以下三个问题。第一,现有车牌相关研究主要集中在不同条件下的静态图像上,缺乏面向监控视频的车牌
学位
为廓清数字化转型能否优化企业内部收入分配格局、夯实共同富裕经济根基,本文选取2007—2020年A股上市公司为样本,研究了数字化转型对企业劳动收入份额的影响。研究结果表明,数字化转型显著提升了企业劳动收入份额,在企业内实现了“分好蛋糕”的功能。其作用机制在于,随着数字化转型程度提高,企业融资约束缓解、创新激励增加,两者共同促进企业劳动收入份额提升。基于企业特征的异质性研究显示,数字化转型对信息透明
期刊
水铁联运模式下的铁路站场资源调度是多联式港口资源调度中极为重要的部分。水铁联运模式下的铁路站场调度不合理,极易导致港口资源利用率低下,港口作业成本增加,严重阻碍港口向智能化、现代化方向发展。在水铁联运模式下的铁路站场调度系统中,如何根据作业任务合理的对设备资源进行分配,提高机械的装卸效率、降低装卸作业成本,已成为建设现代化港口进程中亟待解决的问题。鉴于以上问题,本文研究内容如下:(1)建立了基于D
学位
随着数字经济的蓬勃发展,数字技术渗透到企业成长的各个环节,越来越多的企业试图通过数字化转型提升自身的价值创造能力。数字化转型改变了企业价值创造的方式,为利益相关者实现价值共创提供了新途径。本文基于利益相关者理论和价值共创理论,探讨数字化转型赋能各利益相关者价值共创的过程,构建“资源—连接—互动—绩效与反馈”的数字化转型下利益相关者价值共创的理论框架。在此基础上,提出企业数字化转型下多元主体参与的价
期刊
文章以2005—2020年我国25个工业行业为样本,构建基于行业技术相似度矩阵的空间计量模型,考察数字化转型对工业技术升级的具体影响及其溢出效应。研究发现:我国工业行业间存在显著的技术溢出效应,其水平随着时间推移逐渐趋缓;数字化转型与行业技术升级均存在显著的空间依赖性,主要表现为HH型和LL型的空间正相关性;数字化转型有利于推动工业技术升级,数字化转型对工业技术升级的推动作用具有显著的行业溢出效应
期刊
文本在人类的发展过程中起着举足轻重的作用,随着深度学习的发展,越来越多的学者加入到研究文本检测与识别的行列中。自然场景下的中文识别也逐渐应用到各行各业,但是它不仅受到外界因素和拍照角度、光线等的影响,也会因为自身复杂的结构以及形近字的问题导致检测和识别难度大大提升。目前的深度学习方法虽然在识别英文方面有很高的准确率,但是识别中文的能力仍旧比较弱。因此,本文以前人研究的相关技术为基础,针对中文文本的
学位
随着生物识别技术的飞速发展,基于生物特征的身份认证技术在日常生活中发挥着越来越重要的作用。其中,人脸特征采集方便,且具有稳定性、可靠性和唯一性,因此基于人脸特征的生物认证技术在安保和支付等领域得到了广泛的应用。但由于人脸是唯一且不可撤销的生物特征,一旦人脸模板泄露,用户将永远无法继续使用与人脸识别相关的服务,因此保证人脸模板的安全性对基于人脸特征的生物认证技术至关重要。然而由于人脸图像存在高类内差
学位
随着科技的快速发展,人们已经步入信息化社会,每天需要从海量数据中筛选出自己最关注的信息,推荐系统的存在就显得尤为必要。推荐系统作为解决“信息过载”的有效技术之一,一直是学者们研究的重点。传统推荐算法已经逐渐趋于成熟,广泛应用于各大网站,如:淘宝、京东、唯品会等。但是传统的推荐算法对用户来说具有黑盒的不可解释性,用户并不了解推荐的原因而只能被动的接受推荐。因此,推荐系统的可解释性研究逐渐被学者们广泛
学位