随着计算机应用领域的不断拓展，教育领域首当其冲，尤其对于聋儿教育领域，借助先进的计算机多媒体工具进行教学，实现传统媒体与电教媒体的有机结合，可以更好地利用聋幼儿的残余听力，达到优化聋幼儿语言康复训练的目的。多种媒体在聋儿教师的经验指导下有机的整合，在聋儿的康复过程中具有重要的作用，通过一个完整的课件可以使聋儿了解周围世界、认识自我、并融入文化。传统的鼠标、键盘的交互方式并不适合老师们上课时使用，并且两者的切换很不自然。笔手势交互是近年来迅速发展起来的一种人机交互技术，它适应了“以人为中心”的自然交互准则，也被诸多研究证明是提高交互效率和自然性的有效途径。随着人机交互户界面的不断发展，笔手势交互技术已经在一些面向儿童教育的交互系统中得到了应用。 本文主要在面向聋儿的讲课系统与基于笔的单笔手势的结合方面研究了一些新的设计和解决方法，设计并实现了基于笔的多媒体聋儿讲课系统，采用笔手势交互的自然交互方式，增强老师在课堂上对课堂的把握能力，运用他们已有的经验，充分发挥了他们的想象力和创造力，吸引聋儿的注意力，进一步提高聋儿的听力康复速度。本文的主要研究内容如下： 1、深入分析了目前国内外手势识别技术，以及多媒体教学的进展和现状，比较和研究了大量多媒体教学系统的优劣点和适用范围，提出了普遍的交互体验不足的问题，提出了新的基于笔手势的多媒体教学方法。 2、将多种媒体应用于教学过程中，提出了将传统的基于鼠标、按钮的音视频编辑交互与笔手势交互相结合的方式，给用户提供了新的交互途径，用简单的勾画就可以准确地进行所需的操作，简化了备课和授课过程中的繁复操作，使教师将更多的精力关注于教学质量。 3、提出了视频编辑的预览选择再定位方法，摒弃了精确定位复杂操作，简化了交互难度。不但满足了教师的需求，达到了反复选择再相对精确定位的目的，还简化了操作难度。 4、在前面几项工作的基础上，设计并实现了面向聋儿的多媒体讲课系统及相关工具。该系统以手势作为主要的交互方式，通过自然、和谐的笔式用户界面，将讲课和素材的制作过程变得非常简单、有趣，极大地提高了用户的交互体验。