增强现实技术可以将虚拟世界和现实世界结合起来,具有很强的应用前景。基于手势识别的增强现实是目前比较热门的一种增强现实技术,把手掌和手势作为自然交互标识来实现增强现实技术具有重要的应用价值。将人手作为交互工具,克服了现有的AR手柄、数字手套等交互设备的缺点,在提高用户沉浸感的同时节约了一定的硬件成本,且更加便利。此项技术可以被应用在娱乐、教育、医疗等方面。目前,应用较广泛的手势识别技术是基于神经网络框架下的技术,该技术虽然识别的手势较为准确,但是需要大量的数据进行训练,而且对硬件要求较高。本文通过引进一种新的正交函数-V系统,提出了一种新的手势识别算法,将手势的边界特征向量和区域特征向量融合得到一种新的特征向量,将这个新的特征向量作为手势的特征信息,从而对手势进行识别。实验表明,该算法的手势识别结果在一定场景下要优于Fourier和Zernike等算法。针对增强现实中的相机实时定位问题,本文提出了一种基于手掌点和线融合特征的相机定位算法。本文把手掌作为参考平面,利用Hough变换提取手指的边缘线作为直线特征,选取ORB算法提取手掌的点特征,大量的实验结果表明通过点、线特征的融合,显著提升了相机定位的精度。基于上述算法,本文搭建了一个基于手势识别和手掌定位的增强现实演示系统,该系统能够实现对真实图像进行增强,以及通过手势与虚拟物体进行交互的功能。