计算机在各个应用领域的不断延伸使得现有人机交互通道的瓶颈效应日益突出,普适计算以及以人为本的交互理念促使自然的人机交互成为当前计算机应用研究的重要方向。手势作为人之间的一种常用且具有较强表达力的交互方式自然而然地受到研究者们的关注。将手势引入人机交互过程将有效地拓宽人机交互通道且大大地提升交互体验。以手势数据采集方式为划分标准,当前基于手势的人机交互的研究可分为基于数据手套、基于机器视觉、基于肌电信号和基于惯性传感器等多种方案。这些方案各具优势,然而综合比较方案对人、机器以及环境等因素的适应性后,基于惯性传感器的方案突显出较大优势。本文的研究采用加速度传感器采集手部在空间中运动的加速度数据,对这些原始数据进行处理可以计算出手在空间的运动轨迹。手势特征提取使用了方向矢量量化的方法,该方法能够大大降低后续处理的时空复杂度。手势识别采用了隐马尔科夫模型,每个具体手势均建立了相应的模型。为分割出连续输入流中的各个手势,引入了门限模型作为分割器。门限模型不仅能分割出各原子手势,而且能找出最匹配的目标手势模型。为提高识别精度,加速度信号在提取手势特征前进行了去噪处理,这里采用了一个改进的卡尔曼滤波算法来滤除系统噪声。继解决手势识别的问题后,本文讨论了双手人机交互设计的问题。从探讨双手交互理论入手,逐一讨论了双手交互的行为学基础、心理学基础和双手交互的时序特征。以双手交互理论为基础,探讨了手势库设计中人、机两个对立层面的参数协调问题。在理论研究之后,本文对所提出的理论和方法进行了实验验证。验证用例使用的是图片浏览器,该用例支持使用预定义的手势控制图片的加载、平移、缩放和旋转等操作,初步验证了基于手势的自然人机交互的可行性。