三维人体动作识别及其在交互舞蹈系统上的应用

被引量 : 0次 | 上传用户:kldzn2004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,动作捕捉(Motion Capture)技术发展迅速,并已在智能人机交互、计算机动画,三维电影制作、视频游戏等领域得到广泛应用。借助特殊的软硬件设备,动作捕捉系统能精确地记录运动物体各部分的三维运动轨迹。基于这些轨迹信息,人们便可以对运动物体进行准确地建模以及对运动动作进行语义分析或利用,比如动画驱动等。然而,动作捕捉是一个极其耗时耗力的过程。捕捉的动作数据需要大量的后期处理,它需要人工地将各动作序列按需要分割成片段以及对各片段标识语义等。另一方面,一些实时应用场景(比如人机交互)还要求系统能迅速理解用户的输入动作信息以便做出相应的决策或反应。因此,这就需要高效智能的方法来对动作数据自动处理,从而动作识别(Motion Recognition)应运而生。根据不同应用场景的不同要求,动作识别问题可分为已分割的动作模式分类、连续的动作模式识别以及实时的动作数据流识别三个方面。本文便围绕这三个方面的问题进行了深入地研究,主要研究内容和创新之处如下:首先,众所周知,动作数据具有高维度和高差异性的特点,对于已分割的动作模式识别,其主要困难也便在于此。主成分分析(PCA)是一种最常用且被证明行之有效的降维和特征提取方法。然而,对于像运动动作这样的多维时序数据,PCA存在一个缺陷,即其结果不能保留时序数据中帧之间的时序信息,而这些信息对数据分类非常重要。因此,本文提出了两种新的基于奇异值分解(SVD)的特征提取方法,即分块SVD (SegSVD)和双向分块SVD(Bi-SegSVD)。它们均先将每个数据模式按时序关系分割成一定数目的子片段,然后采用累积的方式对这些片段进行SVD处理并提取其本征特征(eigen feature)用于分类。基于这些特征,本文还提出了一种新的相似度计算方法,并将该方法同径向基核函数整合为支持向量机(SVM)构造出一种新的复合核函数。通过SVM分类器,动作数据的分类达到了更高的准确率。其次,在连续的动作模式识别中,每个输入动作序列都是由多个待识别的动作模式衔接而成,而这些动作模式可能属于不同类型,且长度不一。相对于已分割的动作模式识别,它面临着另外一个挑战,即在识别各个模式的同时需检测它们的边界(即开始帧和结束帧)。为此,本文提出了两种不同的解决方案。方法一利用了开放终点的动态时间规整(OE-DTW)能在完整模式和不完整模式问找到最佳帧对帧匹配的特点,将每个输入动作序列视作为完整模式,而模板模式视为不完整模式,并运用OE-DTW找出它们的最佳匹配,从而将各个嵌入的动作模式依次分割和识别出来。方法二利用了SegSVD中子片段所得的SVD层的时序关系,提出了一种基于惩罚的层匹配方法,从而使得各嵌入模式的终点可以通过模板模式的顶层的匹配情况得以检测。再次,在实时数据流识别问题中,由于输入动作是实时捕捉的,它具有一定的任意性,也就是说用户的输入动作也可能不是合法的(即数据库中未定义的)。因此,实时数据流识别不但要求识别速度必须足够迅速以使得系统能及时对输入的动作作出相应的反应,而且要求在分割与识别输入数据的同时具备检测输入动作是否合法的能力。为此,得益于基于内容检索技术的广泛应用以及其快速有效的特点,本文提出了一种基于动作检索表的识别方法。该方法利用了人体结构是由人体的上下肢和躯干等五部分组成的这一事实,将动作数据也分成这五部分的划分并分别对各划分进行聚类和映射等处理。对于每个动作类别,整合其相应的训练样本以构造一个代表该类别的通用模型(GM),继而通过这些GM,训练了五个相应于这五个躯体部分的动作检索表。在识别过程中,输入帧依次经过映射到聚类中,对各部分分别检索其匹配,整合匹配结果等几个步骤得以识别。而且,通过一些的匹配算法和终点检测条件,该方法达到实时分割和识别用户动作的目的。最后,设计并实现了一套交互舞蹈游戏系统。该系统目的在于营造一个虚拟逼真的娱乐环境,使得用户与系统能通过舞蹈实时交互。利用实时动作流识别算法,用户的舞蹈动作在实时捕捉的同时得以识别。且根据该识别结果,系统同步地将与用户舞蹈相对应的交互舞蹈通过虚拟角色以三维动画在屏幕上显示出来,从而提高了该游戏的趣味性。
其他文献
二十一世纪,信息技术的广泛应用,给人类的生产、工作、生活和学习方式带来了巨大的影响,信息化、网络化成为社会发展的主要趋势。随着高等职业教育的迅速发展,信息化成为衡量学校
随着经济社会的快速发展、各个领域改革的全面深化和社会主义民主进程的不断推进,我国的社会组织获得了长足发展。但在发展的过程中,有不少问题逐渐凸显出来。我们的法律、法
识别是国际私法的一个基本问题。在处理国际民商事案件中,识别冲突是一个普遍存在的现象。发生识别冲突有着多方面的原因,解决识别冲突有着各种各样的理论,但也都存在着各自
分析总结重庆市农村土地流转工作的现状和存在的问题,提出解决重庆市农村土地流转问题的六点对策。
粒细胞巨噬细胞集落刺激因子(granulocyte-macrophage co-lony-stimulating factor, GM-CSF)是一种多功能的细胞因子,由Burgess等在肺条件培养液中首次发现,因其能刺激粒细胞巨噬
近年来,随着知识对于经济和社会发展的推动作用逐渐彰显,专利权制度也更加受到重视,专利权保护制度随之不断发展。在这其中,专利权行政保护制度由于其程序启动便捷,保护效率高而逐
<正>于2002年12月正式投入使用的昆明国际花卉拍卖交易中心(KIFA),经过7年多的努力,目前,鲜切花的日交易量已达150多万支,有种植商会员10000多人、购买商1400人。已形成了以
林业档案是对林业工作进行详细的记录,能够反映出林业工作的发展。做好林业档案管理工作,可有依据地追溯林业的历史,对将来工作的改进和发展起到重大作用。由此,通过分析林业
2007年的全国金融工作会议进一步明确了农村金融改革的方向。总体要求是:加快建立健全适应"三农"特点的多层次、广覆盖、可持续的农村金融体系,显著增强为"三农"服务功能。20
乡村旅游对于促进农业产业结构调整、增加农民收入、利用农村剩余劳动力资源和维护农村社会经济可持续发展具有重要作用,成为促进新农村建设的主要途径之一。分析了乡村旅游发