结合深度学习和时空约束的人体运动合成与风格迁移研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:peterwei2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人物角色运动是动画、电影和游戏等场景重要组成部分,但是由于人体运动数据具有获取繁琐、重复利用率低等局限,导致实际应用中的人体运动风格制作成本较高。本文针对人体运动合成和风格迁移问题对实际捕捉的人体运动数据进行研究,并且尝试直接生成人体运动风格视频,主要研究内容如下:(1)针对人体运动捕捉数据抽象、复杂等特点,本文建立结合RBM和自编码的运动风格迁移模型,将原始人体运动捕捉数据映射到运动的特征空间进行风格迁移合成。利用编码网络将高维的运动捕捉数据映射到低维的特征空间,在特征空间中建立运动风格迁移约束,并且通过解码的方式得到风格迁移后的人体运动结果。(2)针对运动风格迁移模型未考虑运动时序性而导致姿态不协调和运动不自然等问题,提出一种结合深度自编码和时空特征约束的运动风格迁移模型。首先根据用户对风格迁移的要求把运动分解为内容运动和风格运动;然后在深度自编码网络模型中增加过去运动序列输入结构,使模型能够提取运动的时序特征;最后使用Gram矩阵对特征建立运动风格迁移约束,实现运动风格迁移。(3)本文提出结合马尔科夫随机场与循环约束的人体运动风格迁移网络模型,解决由于人体运动风格的抽象性导致难以精确定义风格迁移结果的问题。首先利用卷积网络组成的编码网络将原始运动映射到特征空间;然后在特征空间中使用马尔科夫随机场建立不同运动之间的联系,并且利用循环约束建立迁移运动和原始运动之间的关联。最后通过对抗的训练方式实现端到端的运动风格迁移,并且利用该模型搭建简单的应用平台,实现真实场景的应用。(4)针对真实场景的人体运动图像视频数据的风格迁移尝试,本文提出基于条件对抗网络的像素级别人体运动风格迁移模型。该模型分别使用卷积LSTM和卷积建立两个分支编码网络对输入的风格视频和内容图片进行特征提取;然后通过解码网络对合并后的两个特征进行解码,逐帧生成人体运动视频数据;最后使用Gram矩阵对编码和解码特征建立约束,控制人体运动风格迁移。
其他文献
目的探讨人文关怀与心理护理在妇科宫颈癌护理中的效果。方法将本院2017年1月~2018年2月接收的5 3例妇科宫颈癌患者随机分成观察组(2 8例)与对照组(2 5例)。对照组应用常规护理方
<正>食物过敏是一种常见的过敏性疾病,早在公元16-17世纪便出现对鸡蛋与鱼过敏的描述~([1])。据估计,全世界范围内,食物过敏的患病率约为2%-8%~([2])。在亚洲范围内,近些年来食
会议
白细胞介素-12(interleukin-12,IL-12)是一种异源二聚体细胞因子,被认为是细胞免疫应答反应中的初始因子,具有激活T淋巴细胞、自然杀伤(natural killer,NK)细胞的功能,可促进
油酸含量是评价大豆油食用品质和稳定性的重要指标。本研究采用农杆菌介导转化法,将反义GmFAD2-1B基因导入栽培大豆品种,获得油酸含量显著提高的转基因大豆新品系。Southern
现代海战中,反舰导弹是一种最重要的进攻性武器,采用电子对抗手段抑制和破坏反舰导弹的攻击,对于提高水面舰艇的生存能力并最终夺取海战的胜利,具有非常重要的意义。简要地介
矿井提升机肩负着矿石、物料、人员等的运输责任,是矿山重要的设备。结合实例分析了经坊煤业矿井提升机的结构及对机电一体化控制系统要求,指出了原矿井提升机电气控制系统存
目的:评价我院住院部抗过敏药的利用现状.方法:对我院2004~2006年住院部非手术科室、手术科室和儿科抗过敏药的品种、销售金额、用药频度(DDDs)等进行统计、分析.结果:抗过敏药销售
詹姆斯·卡梅隆的影片无疑是值得期待的,从上个世纪的《终结者》、《异形》和《真实的谎言》等过来,几乎没有一部让影迷们真正失望过,而至《泰坦尼克号》创下有史以来全球第
通过一起干式电压互感器烧毁事故原因的分析,说明局部放电试验对设备绝缘缺陷检测的有效性和必要性。
近年来,由于外源污染物大量入湖,致使滇池水体呈富营养状态,蓝藻水华频繁爆发^[1]。束丝藻属与微囊藻属随季节演替,成为滇池蓝藻水华的两大优势种群。束丝藻水华暴发期间,滇池放养