人体动作检测和识别作为人体运动分析研究的重要内容,在智能监控、人机接口、基于内容的视频检索和图像压缩等领域有着广阔的应用前景和潜在的经济价值和社会价值,正受到越来越多研究学者的关注。由于人体动作属于非刚性运动,在不同条件下,同一种动作类型本身变化差异较大,然而不同动作类型之间变化差异较小,因此人体动作检测和识别面对的困难往往比其它目标检测和识别要大。本文系统地研究了如何在视频中检测和识别出人体动作的问题。根据人体动作检测和识别过程以及实际应用的需要,本文研究的问题包括:(a)室内环境下的人体检测;(b)复杂背景下的目标跟踪;(c)遮挡情况下的目标跟踪;(d)运动摄像机下的人体动作检测和识别; (e)动态背景下的人体动作检测和识别。从这些问题出发,本文提出了相应的解决方法,主要研究内容和创新点归纳如下:1.由于人体本身容易受自身或其它物体的遮挡、人体观测角度以及人体肤色差异的影响,加上随着广角镜摄像机的逐步普及,利用人体颜色,形状等特征的方法很可能失效。针对这些问题以及系统可扩展的需求,提出了一种基于黑板模式的室内人体检测算法。该算法通过将其它室内非人体目标排除来实现人体检测。通过增加或者删除知识源(处理模块),就可以实现算法的改进,改善系统的扩展性。实验结果表明基于黑板模式的人体检测方法是有效的。2.针对复杂背景的情形,提出了一种基于非参数聚类和多尺度图像的目标跟踪方法。该算法首先通过利用改进的非参数聚类自动确定颜色直方图的位数,利用确定的直方图位数以及高斯函数来建模目标结构信息,并定义目标外观模型。然后依据Bhattacharyya系数定义推导了目标模型与候选目标模型的相似性函数。另外通过利用金字塔图像进行从粗到细的目标空间定位。最后通过最大化一个对数似然函数的下界得到最优核函数带宽,实现目标尺度定位。实验结果表明该方法优于典型的均值漂移算法。另外针对跟踪过程存在遮挡的情形,提出了一种基于人体检测和改进均值漂移算法的多目标跟踪方法。解决遮挡问题关键就是如何将遮挡前的可靠轨迹和遮挡后的临时轨迹连接起来。文中定义了一个利用目标外观、尺度和位置信息的连接似然函数,并利用Hungarian算法得到最优连接组合。实验结果表明该方法有效。3.针对运动摄像机和动态背景的情形,提出了一种基于形状-运动特征的人体动作基元树的人体动作识别方法。在训练过程中,通过k-均值聚类得到人体动作基元,然后利用层次k-均值聚类方法建立树模型,将人体动作基元保存到各个叶结点中去。测试过程中,首先检测出人体,并通过利用外观信息进行跟踪得到人体的大概位置,然后利用一个联合概率优化过程细化人体的位置和识别与当前帧对应的动作基元。最后通过动态时间规整算法识别人体动作。另外提出了基于HMM的图像帧到动作基元匹配方法,并与基于树模型的图像帧到动作基元匹配方法作实验比较。实验结果为在Keck手势数据库中达到91.07%的识别率,Weizmann动作数据库中达到100%的识别率,KTH动作数据库中达到95.77%和在结算柜台数据库中达到99.23%的识别率。4.针对运动摄像机和动态背景的情形,提出一种基于动作基元判别树模型的集成人体动作检测,识别和分割方法。训练过程中通过k-均值聚类学习得到人体动作基元,然后建立人体动作基元树模型。每个树结点具有一个用于训练和测试过程中快速匹配的截止阈值,每个叶结点还另外包括参数集:匹配到该叶结点的训练图像帧索引和动作类型分布概率。测试过程,首先将从滑动窗口中计算得到的特征描述符快速匹配到学习的树模型中,得到人体动作的初始位置,然后通过一种全局滤波的方法来修正每一幅图像帧的人体动作位置。人体动作的识别过程是通过一个动作类型和动作基元的联合概率之和最大化过程得到。通过使用叶结点保存的帧索引计算得到分割掩膜实现人体动作分割。实验结果为在CMU动作数据库和Weizmann动作数据库中达到100%的识别率。5.针对运动摄像机和动态背景的情形,这里提出了一种基于判别霍夫表决树的多类型人体动作检测和识别方法。训练过程中,首先利用局部运动、外形特征建立一对定位树,对全局联合hog-flow特征运用层次标签一致k-均值聚类方法建立一棵识别树。每个树结点保存着特征类型分布函数,而对于定位树模型来说,每个树结点还保存着相对目标中心位移。测试过程中,首先访问定位树并运用局部特征表决得到一小部分最有可能包含人体动作的位置,然后对这些潜在位置提取全局特征,访问识别树并运用全局特征表决来识别人体动作。实验结果表明该方法优于现有方法在Keck手势数据库,CMU动作数据库以及KTH动作数据库中的测试结果。