人体行为理解逐渐成为计算机视觉方面的研究热点,无论是在监控,人机交互和机器人领域都有着广泛的作用。近几年市面上出现了一款新型的图像、音频采集平台,也就是大家熟识的Kinect。它不仅能提供传统彩色相机提供的彩色图像还可以输出深度图像,更进一步的在深度图像的基础上给出人体骨骼图像。然而,当前Kinect平台主要被用来实现人机交互、休闲娱乐。殊不知Kinect所拥有的丰富资源能够大大丰富人体行为理解方面可以被利用的资源。本文借助Kinect平台在有限的场景范围内对人体行为做一些理解研究工作。初期了解人体行为理解的研究背景和国内外研究现状以及常见算法,在熟悉Kinect平台的基础上搭建实验测试平台,同时设定实验测试环境。分别对彩色图像信息,深度图像信息和骨骼图像信息做了详细的测试。其中包括图像的分辨率,每帧速率；深度图像的有效使用范围,分辨率；骨骼图像的有效范围,遮挡问题等一系列的内容进行详细的测试,确保Kinect平台搭建的有效性,以帮助实验测试环境的选取。同时有助于行为特征的提取,以及测试行为理解算法的有效性。视频中人体行为理解的一个重要问题是特征的选取问题。良好的特征能够有效地描述人体姿势、行为,可以说好的特征是能够正确理解人体行为的基础。文中选择了人体骨骼特征,包括人体骨骼关节的角度、方向、相对位置,还有人体轮廓的高度和宽度的比值等参数。在实验测试中发现这些特征性能优异,但是仍存在一个无法避免的问题——遮挡问题。当Kinect骨骼图像中关节点存在遮挡时,所给出的数据存在一定的不确定性,即部分被遮挡部分的数据会存在跳变现象,这对被提取特征的有效性产生了影响,国内外在遮挡问题上都没有提出很好的解决方法。深度图像反映客观的人体姿势,被遮挡部分不会出现骨骼数据中的不确定性,而且数据的鲁棒性较好。通过HOG算法提取深度图像中人体姿势特征,结合骨骼特征,共同构成描述人体行为的重要特征。人体的行为可以被分解成姿势序列。文中将行为理解分成两部分,一部分通过提取的特征做姿势识别；另一部分,理解人体姿势序列实现人体行为的理解。所涉及的算法也分别针对这两个不同的任务。在特征提取中首先提到了HOG算法,它主要是提取深度图像中的人体姿势特征。SVM算法经过测试有较好的识别效果,文中采用被广泛使用的LIBSVM算法。在行为理解方面即序列分类问题上,贝叶斯方法有着较好的表现,在这里研究了基于贝叶斯理论的朴素贝叶斯算法,隐马尔科夫算法在行为理解中的有效性。最后在Visual Studio平台上设计测试系统,完成图像数据的读取、显示、实验测试对比和提示等功能。通过大量的实验测试,发现在姿势-序列这样的理解架构下,借助支持向量机和贝叶斯方法能够有效的实现人体行为理解,并且能获得较好的识别效果。本文的研究具有一定的应用和研究价值,能够为后续的开发和研究提供经验。