随着全球城市化进程的深入,城市人口愈发密集,大型活动及大型事件的发生也愈发频繁。若集群行为管理不善,往往会造成大型活动的混乱甚至灾难。集群行为理解因其在智能视频监控、公共空间管理、城市公共安全等领域的需求,受到了社会学、心理学及生物科学等学科的广泛关注与研究。本文的研究内容主要是基于视频数据,以计算机视觉和机器学习的研究领域角度,研究并理解集群行为,具体包括集群分割、集群行为属性估计、集群计数估计、集群行为类型识别等问题。影响集群行为理解算法的关键技术环节主要包括大型数据集的支撑、具有任务针对性的集群特征设计、集群统计模型的设计和开发。围绕以上关键技术环节,本文开展了相关研究并取得了一定的创新成果。首先本文建立并公开了WorldExpo’10大尺度跨场景集群行为理解数据集,此数据集是目前公开的最大真实集群场景视频数据集。数据采集于2010年上海世博会的真实监控视频数据,通过数据脱敏处理,以达到数据集公开标准。WorldExpo’10数据集包含两个部分,跨场景集群行为属性数据集和跨场景集群计数数据集。针对不同的集群行为理解问题,数据集提供了标注工具并进行了详尽的标注。跨场景集群行为属性数据集包含了四种不同的集群属性估计任务,包括集群分割、集群密度估计、集群一致性估计与集群粘聚力估计。跨场景集群计数数据集则是针对集群计数问题进行了构建。WorldExpo’10数据集发表以来,受到广泛地关注,总下载次数超过1000次,下载地区横跨全球,包括数十个科研单位,广泛用于集群行为理解、集群计数等算法研究的开发和验证评估。为了有效解决WorldExpo’10数据集中通用跨场景集群行为理解的挑战,本文提出了基于多尺度时空相似性的集群行为属性估计算法。为了进一步有效描述集群场景特性以及集群行为特性,本文设计了两种集群特征,全局集群特征和局部集群特征。全局集群特征用于表征集群场景信息,基于全局集群特征可以匹配与待检测样本相似的场景。局部集群特征用于表征具体局部的集群行为时空特性,用于匹配与待检测样本最相似的局部集群数据,采用相关反馈算法调整集群局部特征的参数,使其更适合描述集群特性。基于多尺度时空相似性,通过标签转移方法同时对四种不同的集群属性进行估计。通过实验验证,在集群分割、集群密度估计、集群一致性估计与集群粘聚力估计四项任务中,该方法都可以有效地得到属性估计结果,性能优于其他算法。针对每项特定属性估计都专门设计相对的对比算法,而本算法可以在同一种计算框架下,同时完成四种属性估计任务。针对跨场景下集群计数这个集群行为理解的具体问题,本文率先提出了通过集群卷积神经网络模型,实现跨场景集群计数,所发表的学术成果受到了广泛的关注,更多的学术工作聚焦于基于深度模型的跨场景集群计数问题,使其成为了计算机视觉领域的研究热点之一。本文提出的跨场景集群计数算法,针对任何目标场景,无需进行额外标注,即可实现该场景下的集群计数任务。同时本文又提出了一种目标可切换的训练方式,将集群计数问题,转化成集群密度分布估计与集群全局计数两个问题,通过针对这两个目标任务的交替训练,增强了集群卷积神经网络的表达能力。为了使模型更好地适用于新的测试场景,本文还提出了一种基于数据驱动的模型微调算法。通过检索与测试场景相似的数据,微调(fine-tune)集群卷积神经网络模型,可以实现更准确的跨场景集群计数。通过实验验证,多任务集群卷积神经网络算法可以实现跨场景集群的技术目标,无论在多场景还是单一场景实验环境中都优于其他已发表算法。最后本文研究了结构化分组群的集群行为识别及分析,其研究思路主要是将集群场景抽象为一个包含由多个组群概念的分层结构。本文提出了两种集群行为识别算法,基于多组群局部因果性特征的集群行为识别算法和基于可变结构的多层次图模型的集群行为识别算法。基于多组群局部因果性特征的集群行为识别算法设计了一组集群因果性特征,通过因果性滤波器的响应值,描述个体、组群和集群之间的相互影响关系。通过局部化约束系数编码方式,对集群因果性特征进行编码。然而此算法的分组方式,仅考虑了位置信息,并没有在分组时考虑到个体之间的运动信息,也无法适应人数、组群数量变化性更强的集群行为样本。所以本文进而提出了基于可变结构的多层次图模型的集群行为识别算法,将集群行为抽象为一个具有隐变量的多层图模型。通过隐条件随机场模型识别集群行为类型,同时判断组群和个体的行为以及集群内的分组关系。本文针对此结构化模型设计了一种推断方法,并提出一种基于采样的启发式搜索算法实现对集群内个体更合理分组关系的推断。实验结果表明,引入组群概念并分析组群之间的相互影响可以有效地提高集群行为识别算法的准确率,相比已发表的其他算法有明显的提高。同时因为第二种算法对集群中的分组关系进行了更有效的推断,相比第一种算法和其他对比算法,集群行为识别准确率进一步提高。