基于Kinect 3D数据的声音-唇部映射系统的设计与实现

来源 :天津大学 | 被引量 : 0次 | 上传用户:yd310yd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语言是人类特有的功能,是自然界中人类区别于其他生物的特殊能力。随着世界一体化的到来,第二语言学习者逐年增加。计算机辅助发音训练技术应运而生,它不仅可以缓解语言教师的压力,而且能够为学习者提供个性化、全天候服务。论文提出了一个声音-唇部映射系统。首先,将Kinect设备录制的声音和3D数据作为原始数据,训练得到映射模型;然后,将声音信号输入映射模型,映射得到相应的3D数据;最后,根据获取的3D数据建立唇部模型,完成了语音信号到3D唇部模型的映射。论文分别对基于K平均算法和基于高斯混合模型的映射方法进行了研究,从主观和客观两个方面对映射结果进行了评价,并对两种映射方法进行了比较。为了提升映射效果,论文还对映射结果使用低通滤波器进行了平滑处理。实验结果表明,基于K平均算法和基于高斯混合模型的映射方法都能够完成声音到3D数据的映射,且基于高斯混合模型的方法要好于基于K平均算法的方法。实验结果也证实,后期使用低通滤波器进行平滑处理能够有效提升实验效果。提出的声音-唇部映射系统能够同时为训练者提供声音和唇部运动信息,使训练者能够更好地进行发音训练,有望用于发音障碍的治疗和第二语言的学习。
其他文献
随着计算机技术的飞速发展,计算机已广泛应用于社会的各行各业。目前,许多企事业单位大量运用计算机进行信息的加工、处理,并出现了各类管理信息系统。这些管理信息系统所使用的
随着近年来全球经济跨国、跨地区发展势头增加,商标数量逐年递增。以我国为例,据统计,2001年我国商标注册申请量为27万件,到2004年,年申请量翻了一番,达到58.8万件,截至2005
随着社交媒体、电子商务等的快速发展,图像在信息交流中的作用越来越大,人们对图像信息处理的需求越来越大。人们要求计算机能够更加智能更加自主地实现对图像信息的处理。图
随着计算机符号计算的迅猛发展,在非线性科学中,基于符号计算的变系数模型的解析研究已逐渐成为孤子理论的重要研究方向之一,特别是关于变系数模型可积性质的研究备受关注。计算
现代社会中,由于工作、生活场合不同,很多人需要同时拥有多个号码与不同方面的人进行联系。目前国内移动运营商相继推出了一系列多号业务,但这些多号业务的不足日渐显露,新的
低压电器电弧运动过程三维成像理论及运动机理研究在国内外取得了一定的进展,但作为一种新型电弧研究方法,特别是对电弧运动可视化方面的研究尚处于起步阶段,其技术涉及到电器学
随着信息技术的高速发展,电子图档已逐渐取代传统的纸质图档,在各行各业发挥着巨大的作用。如何从图档数据库中方便、快捷地获取所需图档是一个难题。目前,图档检索一般是基
近年来,无线网络、移动计算、数字家庭技术取得巨大发展,越来越多的基于移动计算技术的新应用不断涌现,其中也包括了如移动三维导航、移动产品展示、数据可视化、掌上游戏等在内
语义Web的构建不仅需要由本体来定义基本知识骨架,同时也需要由遵循本体而定义的实例层知识库来构建内容。虽然语义Web数据逐渐增长,但是实例层的数据却依然较为稀少。语义关
城市公交查询系统为乘客提供了优化、及时的信息服务,通过合理的引导,很大程度上方便了他们的出行,同时减少了不必要的交通流量,提高了整个公交线网的运行效率和城市信息服务