手语是聋人的语言，研究表明聋人对手语的理解能力远高于对文字的理解能力，因此手语合成研究有助于提高聋人接受信息的速度。韵律是人类自然语言的典型特征，起着传递情感和语义的作用。手语作为一种语言，本身也包含了丰富的韵律信息，由于手语是多模式表达的视觉语言，手语韵律必定通过手势运动的幅度等行为质量和头部运动、口型和面部表情等非手部行为共同表达。本文针对可表现韵律的多模式中国手语合成相关问题进行研究。　　基于韵律的中国手语合成研究涉及手语语言学、心理学、人类学和计算机图形学等多学科领域，相关研究成果可推广到人机交互等领域，研究具有重要的理论意义和实际应用价值。本文的主要研究成果如下:　　(1)多模式中国手语数据库构建　　目前已有的中国手语数据只包含单一模式即手势动作数据，不能够支撑多模式手语表达。本文在基础数据建设层面，从语义表达的角度对手语数据进行归类整理，以数据存储最小化为目的对动作数据进行合并，针对确定后的基本动作集使用运动捕获方法构建了面向手语合成的多模式中国手语数据库。多模式中国手语数据库包括中国手语手势数据库和非手势数据库，可满足手语多模式合成和手语韵律表达双重需求。　　(2)中国手语韵律模型　　手语是一种包含手部、头部、面部和身体等多部位运动的可视语言，有韵律的中国手语合成旨在不改变手语语义和语法的情况下，通过修改多模式行为的行为质量和行为方式表达手语韵律，进而增强手语表达。针对中国手语韵律表达，本文提出了“韵律特征—韵律参数—绘制参数”的层次化韵律表示模型，并面向韵律表达定义了适应关键帧动画绘制的韵律特征到韵律参数映射规则集。　　(3)中国手语韵律合成　　针对韵律模型中韵律特征到韵律参数映射存在的改变行为质量和增加非手势行为两种情况，具体研究了基于中国手语韵律模型的“强调”韵律及“语气”韵律的合成方法。针对“强调”韵律的合成，提出了基于改进的非线性放大方法的中国手语手势生成方法，该方法也可推广到非手势;针对“语气”韵律的合成，提出了面向“否定”和“疑问”表达的非手势行为生成方法，实验结果表明了本文提出方法的有效性。　　(4)中国手语协同表达　　针对韵律上下文中多模式手语表达的多个模式动作存在冲突的情况，构建了中国手语韵律的协同规则集。对手语应用中单一韵律特征可映射到多个行为模式的现象，定义了行为选择规则;对多个韵律特征映射到同一行为模式的问题定义了冲突消解规则。最后基于定义的协同规则集驱动中国手语合成系统，实验结果表明所提规则集能够有效实现有韵律的多模式中国手语的协同表达。　　基于上述工作本文设计实现了面向数字电视、WEB和手机三个终端的中国手语韵律合成原型系统，从而使聋人可以和健听人一样享受便捷的服务。主客观实验结果表明基于韵律的多模式中国手语合成研究有助于提高合成手语的真实感和可懂度。进一步的研究重点在更丰富的韵律特征和韵律参数的生成研究。