基于视觉的行为理解是一个重要的人工智能问题,但即使在蓬勃发展的深度学习时代,视觉系统理解行为的能力还远达不到应用需求。因此,研究视觉智能以实现高效、鲁棒的行为理解具有巨大的价值。不同于传统的深度学习范式,在本文中,我们旨在通过基于知识驱动的视觉推理来改善行为理解。首先,我们着重研究人-物交互（Human-Object Interaction,HOI）的检测。HOI 是一个组合学习问题,其长尾数据分布特点给深度学习范式带来了巨大挑战,前沿算法在HOI上的识别性能也远低于纯身体行为（跑步、行走等）。因此,我们基于HOI的组合特性知识提出了三种全新的识别算法,具体内容如下:首先,我们研究了 HOI组合的交互性知识,即人与物之间是否存在交互的二值信息。我们提出了一种交互性学习网络,它可以从多个HOI数据集中学习可迁移且通用的交互性知识,并在推理HOI类别前执行非交互性抑制,从而主动地过滤非交互的人体-物体配对。另外,我们还进一步利用人体实例和身体部位特征来学习层次化的交互性知识,从而提取出更深层的交互性模式。在大型HOI检测数据集上,交互性学习可有效提升HOI检测的性能,并具有良好的泛化性。其次,HOI理解的基本单元是人-物组合,它是由人体、物体和隐式交互动词组成的。与直接将像素映射到HOI语义的方法不同,我们提出了一种以解析方式处理HOI视觉模式的新方法:集成分解网络。我们首先将交互的人-物组合分解为独立的人体、物体,以消除他们间的动词语义;之后,独立的人体和物体将被再次被整合为交互组合,以恢复他们间的动词语义。在两个互逆过程中,相同HOI类别的组合间还可以进行人体、物体实例互换。经以上过程,就可以在分解与合成函数空间内表示隐式动词的语义。在广泛使用的HOI检测基准上,集成分解网络展现了优良的性能,并对稀有HOI分类效果显著。最后,除了 2D信息（人、物的外观和相对位置）外,我们进一步提出了基于3D信息的HOI检测方案。我们首先利用单视图人体重建获取细粒度的3D人体结构,并参考2D人、物的相对空间位置和物体类别先验估计出物体的3D位置和大小。然后,我们提出了一个联合学习框架和跨模态一致性目标函数以学习联合HOI表征。为了更好地评估HOI检测模型对2D歧义性的处理能力,我们还提出了一个新的基准Ambiguous-HOI。在大规模HOI测试基准和Ambiguous-HOI上,上述方法展现出了显著的抗歧义能力。在研究了 HOI组合的特性知识后,我们回到一般意义下的行为理解问题,即从图像或视频中识别纯身体行为、人-物交互、人-人交互。由于传统模式识别范式（直接学习从图像空间到语义空间的映射）往往在大规模行为理解任务上存在性能瓶颈,本文进一步对行为理解范式进行了反思,并提出了一种新范式:基于知识和推理的行为理解。下面我们分别介绍物体和人体细粒度知识:第一,物体概念理解对人-物交互理解有重要意义。虽然物体识别已取得很大进步,但目前的视觉系统仍难以学习细粒度物体知识。因此,我们提出了一项新颖的任务:物体概念学习,以驱动物体知识理解的发展。它要求视觉系统不仅要推理出物体的可供性,还要同时给出推理依据:什么样的物体属性使该物体具备这些可供性。为此,我们建立了一个具有实例级标注的大型物体知识库,包含了物体类别、属性和可供性标注。在方法上,针对属性识别,我们提出了一种基于属性-物体变换对称性和群论的方法,它基于隐空间中动态的物体特征变化来识别属性,并在零样本组合学习任务中达到了较好的性能。然后,我们分析了类别、属性和可供性间的因果关系并提出了物体概念推理网络,它利用因果干预操作弱化了类别在学习中引入的偏差,并可在考虑属性的同时有效地估计可供性。最后,我们就可将学习到的细粒度物体知识用于HOI检测,并显著提高了多个先进HOI模型的性能。第二,我们发现,因为物体图像和行为图像数据之间存在巨大差异,类似物体识别的直接映射方案很难在行为理解上也取得成功。因此我们从人体细粒度知识出发提出了一种新范式:首先将像素映射到行为原语空间内,然后再利用可解释的逻辑规则来编程原语以推断出图像中的行为。为提供一个具有丰富表征性的原语空间,我们建立了一个大型行为原语知识库,包含了超过两千六百万的人体局部状态标注,它涵盖了日常的大多数行为类别;此外,我们还收集了人类对原语进行编程的先验逻辑规则,同时使用归纳-演绎策略自动挖掘类似的规则;最后,我们提出了一种新型的神经-符合推理引擎以执行基于知识和规则的推理。在实验中,上述新框架展现出了超过传统直接映射方法的泛化能力。