论文部分内容阅读
人物角色运动是动画、电影和游戏等场景重要组成部分,但是由于人体运动数据具有获取繁琐、重复利用率低等局限,导致实际应用中的人体运动风格制作成本较高。本文针对人体运动合成和风格迁移问题对实际捕捉的人体运动数据进行研究,并且尝试直接生成人体运动风格视频,主要研究内容如下:(1)针对人体运动捕捉数据抽象、复杂等特点,本文建立结合RBM和自编码的运动风格迁移模型,将原始人体运动捕捉数据映射到运动的特征空间进行风格迁移合成。利用编码网络将高维的运动捕捉数据映射到低维的特征空间,在特征空间中建立运动风格迁移约束,并且通过解码的方式得到风格迁移后的人体运动结果。(2)针对运动风格迁移模型未考虑运动时序性而导致姿态不协调和运动不自然等问题,提出一种结合深度自编码和时空特征约束的运动风格迁移模型。首先根据用户对风格迁移的要求把运动分解为内容运动和风格运动;然后在深度自编码网络模型中增加过去运动序列输入结构,使模型能够提取运动的时序特征;最后使用Gram矩阵对特征建立运动风格迁移约束,实现运动风格迁移。(3)本文提出结合马尔科夫随机场与循环约束的人体运动风格迁移网络模型,解决由于人体运动风格的抽象性导致难以精确定义风格迁移结果的问题。首先利用卷积网络组成的编码网络将原始运动映射到特征空间;然后在特征空间中使用马尔科夫随机场建立不同运动之间的联系,并且利用循环约束建立迁移运动和原始运动之间的关联。最后通过对抗的训练方式实现端到端的运动风格迁移,并且利用该模型搭建简单的应用平台,实现真实场景的应用。(4)针对真实场景的人体运动图像视频数据的风格迁移尝试,本文提出基于条件对抗网络的像素级别人体运动风格迁移模型。该模型分别使用卷积LSTM和卷积建立两个分支编码网络对输入的风格视频和内容图片进行特征提取;然后通过解码网络对合并后的两个特征进行解码,逐帧生成人体运动视频数据;最后使用Gram矩阵对编码和解码特征建立约束,控制人体运动风格迁移。