随着虚拟现实技术的快速发展和体感交互设备的不断推广,人们越来越倾向于使用自然、方便的方式实现人机交互,尤其是手势交互。因此,虚拟现实系统中手势识别的研究与发展具有重要的意义。沙画创作是21世纪初期新兴的一种艺术创作方式,沙子动画搭配流畅跌宕的背景音乐给人们带来全新的视听感受。近些年,虚拟现实技术逐渐融入沙画艺术中,形成虚拟沙画。因此,本课题以虚拟沙画为应用背景,对手势识别算法理论及Leap Motion的关键技术进行了系统的研究,改进手势识别算法,设计并实现了基于Leap Motion和Unity 3D的虚拟沙画系统。主要工作内容如下:(1)深入研究手势识别算法,结合稀疏表示方法和压缩感知理论,引入基于稀疏表示的分类(SRC)算法;在此基础上,结合K-最近邻(K-NN)算法,对SRC算法进行改进,提出KNN-SRC算法,并从理论和实验两方面验证其可行性。(2)结合KNN-SRC手势识别算法,设计并实现了基于Leap Motion的手势识别模型。本文充分利用Leap Motion精确捕获人手信息的特性,完成数据的采集、特征向量的提取、指尖位置的检测及跟踪。同时,改进特征提取算法,优化跟踪算法,最终通过实验对相关改进内容的有效性进行测试,为实现虚拟沙画系统奠定基础。(3)将构建的基于Leap Motion的手势识别模型及相关改进算法应用到Unity 3D平台搭建的虚拟沙画系统中。编写脚本文件定义手势语义并在手势识别后实现沙画绘制,采用粒子系统模拟落沙效果,并导入在3Ds Max软件中构建的虚拟手模型提升系统的真实感。