基于文本-语音驱动的虚拟教师面部表情动画设计与实现

来源 :北京师范大学 | 被引量 : 0次 | 上传用户:steven146
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文通过对目前比较流行的三维人脸动画技术的研究,提出了一种基于文本和语音驱动的人脸表情动画算法的实现,并拟将该算法运用到三维虚拟教学环境之中。通过虚拟教师面部表情的设计,为学习者提供更加友好的交流界面,使得教学平台更具有亲和力和人性化。本文的算法采用目前比较成熟并广泛应用的MPEG-4编码系统对三维人脸进行编码描述,算法的实现使用wxWidgets进行UI设计、利用SMIL同步多媒体集成语言对输出多媒体流进行控制、通过MS SAPI提供的TTS技术进行实时语音合成,最后通过OpenGL渲染表情动画,生成最终输出结果。此外,算法中还多处用到了第三方开源库,如Boost、SDL、Xerces-C等,使开发出来的系统具有稳定性和可移植性。文章首先介绍了研究现状、开发环境以及算法中用到的技术和开源组件,随后详细描述了三维人脸建模和人脸模型生成技术,通过分析人脸动画编码系统和模型结构,提出了模型解析、动画生成的关键算法实现:首先对人脸模型定义控制点和控制框架,利用Bernstein多项式构造控制框架,将之运用到FFD算法中控制人脸变形,并对FFD算法进行改进,然后解析SMIL脚本并对动画和语音进行实时控制,最终生成与文本匹配的语音及口型和表情动画的输出。
其他文献
外包数据库是一种新的数据库应用形态,它在管理成本、数据库可用性与可靠性等诸多方面具有传统数据库应用形态无法比拟的优势。由于信任模型发生了本质性转变,外包数据库带来了
随着互联网视频内容的不断增加,以及数字图书馆、视频点播、远程教学等大量视频媒体的应用,如何在海量视频中检索出所需要的资料显得至关重要。传统的基于文本的视频检索以及基
为了评估信用风险,研究人员做出了大量的努力,提出了各种度量和管理信用风险的方法。经典的评估模型一般将着眼点放在被评估公司自身的信息上,然而银行界获得的越来越多的共识是
随着网络技术的飞速发展和嵌入式处理器能力的不断提升,基于嵌入式Linux的网络视频监控系统逐渐成为了监控设备中的主流,因为嵌入式Linux功能强大且费用较低。但是直接移植Linu
由于如今Web应用的高速发展所带来的数据规模的海量性、数据模式的多样性和不确定性,使得传统的数据管理技术在可扩展性、高效性和可靠性方面越来越不能满足应用的需求。数据
在数字图书馆建设中,人们面临着一个问题:如何高效地将现有的海量的纸质文档或者电子文档制作为可供计算机阅读、检索、查询、传播等操作的电子出版物。对于电子出版物,其所含有
随着硬件性能的不断提升,计算机正在被赋予越来越艰巨的任务,运行其上的软件作为沟通人类思维和底层硬件的桥梁,其重要性日益增加。与此同时,软件系统的规模也在不断变大,所涉及的
面向应用层的细粒度网络协议识别技术当前被广泛应用于上网行为管理、网络流量分析与控制和下一代防火墙等多种网络安全应用场景中,而随着网络应用数量的增长,待识别协议特征集
随着互联网上信息的逐渐增长,要找到某一方面的信息变得越来越困难。人们逐渐希望得到一种有效的方法来查找对自己有用的信息。使用搜索引擎进行搜索就成了检索信息的有效的方
嵌入式系统广泛采用Linux作为操作系统,它们大多数直接由标准的Linux移植过来,其内核的存储管理子系统对嵌入式系统硬件平台的可剪裁性支持有限,特别是没有专门针对众多无硬盘典