随着智能人机交互的发展，手作为人体操作中最自然、快捷的部分，手部人机交互技术成为一种重要应用，手部检测及运动跟踪作为其实现的基础和关键，在近几年取得了很大进步但也有一些不足。在基于视频或者序列图像的手部检测跟踪中，由于外界环境影响及检测跟踪算法本身的缺陷等，容易导致动态手的失跟或者滞后跟踪现象，因此如何实时精确的自适应检测跟踪人手就成为解决问题的关键。在手部运动跟踪中，本文采用基于HSV颜色直方图的粒子滤波改进算法对手部进行自动跟踪。针对传统粒子滤波重采样阶段粒子退化和贫化现象，提出了一种基于最大方差权值分割的粒子滤波改进算法。传统粒子滤波跟踪算法为了在初始帧中确定随机撒粒子的目标中心，通常为手动获取，为了能自适应的确定手部的初始位置，本文采用肤色聚类和Hu矩相结合方法进行手部检测及定位，最终在初始帧中自动用椭圆圈出手部并计算其中心用于手部跟踪中。实验证明，在手部检测中基于肤色聚类和Hu矩结合的方法对手的检测提取具有很好的效果，并成功运用到手部跟踪初始化中，结合基于HSV颜色直方图的粒子滤波改进算法使得手部运动跟踪具有自适应性，并且在精确性、稳定性、实时性上也有一定程度的提高。