论文部分内容阅读
在人工智能时代背景下,通过数字智能化的方式实现对传统文化资源的保护已成为重要的研究课题。拉班舞谱是世界上应用和传播最为广泛的一种舞蹈符号体系。以拉班舞谱这种书面形式记录和保存舞蹈动作在保护非物质文化遗产方面具有重大意义。为了摒除手工记录舞谱符号的繁琐工作,基于计算机技术的自动生成拉班舞谱方法应运而生。但是传统方法没有充分利用时序信息和空间信息。当前最新的基于深度学习的方法不能实现连续动作识别,限制了应用场景。在此背景下,本文进行基于深度学习的拉班舞谱自动生成研究。在循环神经网络框架下,本文提出了三种基于循环神经网络的舞谱生成算法。主要工作如下:(1)提出了基于空间特征融合的舞谱生成算法。现有的骨骼节点向量特征缺乏能够直观反映人体骨骼关节点的空间位置信息,忽略了空间位置信息对生成的舞谱准确性的影响,限制了舞谱生成算法的性能。本文在骨骼节点向量特征的基础上,提出了面向舞谱生成的Joint和Line空间特征融合的特征表示法。Line特征为骨骼节点向量特征,表征了人体的拓扑结构。Joint为骨骼关节点的三维空间位置信息,可以直观反映人体运动过程中关节点的运动轨迹。这种特征表示法更充分地分析人体运动过程位置和方向的变化,进而能更好地反应运动特性。(2)提出了基于多时序建模的舞谱生成算法。现有的基于长短时记忆网络的舞谱生成算法利用历史信息预测当前时刻的状态,没有考虑未来信息对当前状态的叠加影响,并且网络参数多、计算量大,限制了时序建模的性能。本文在此基础上,将长短时记忆单元替换为双向门控单元Bi-GRU进行多时序建模。充分考虑动作在时间、空间上的连贯性和相关性,更好地递归利用了时空信息,减少计算复杂度,提高预测性能。(3)提出了基于时空级联网络的连续舞谱生成算法。现有的基于长短时记忆网络的舞谱生成算法只能处理和识别单一动作。连续动作需要先手工分割为单一动作片段后再依据现有舞谱生成算法进行处理,限制了实际应用能力。本文在舞谱识别网络后端级联连续时间分类器模块,端到端地实现连续舞谱生成。该分类器的Blank单元有效避免对连续重复动作的误判。在连续时间分类器模块的作用下,每个时刻动作的预测概率分布按照时序依次形成动态组合。组合概率最大的一组即为预测结果并作为连续动作的识别结果。有效避免手工分割动作的繁琐步骤,增加了实际应用的可能性,整体提升了识别速度和准确度。