时空语境作为重要的判别线索,广泛应用于图片和视频的检测识别任务。通过空间语境可以建模场景中目标物之间的关系,通过时间语境可以建模行为发生时的运动和时序信息,利用时空语境作为线索构建深度网络模型能够准确且密集地捕获目标、场景、动作的时空关系从而实现检测和识别任务。时空语境的准确建模提升了目标检测、行为识别领域的准确率,在智慧城市、视频理解、人机交互等方向有着重要的应用。随着深度学习的快速发展,当前的检测和识别模型已经能够很好的完成相应的视觉任务,但是,现有的检测和识别模型往往忽略了时空语境线索的重要性,导致忽略了时空信息,存在着较多的问题:一、针对目标检测问题,忽略空间语境信息将无法建模目标与目标本身和场景之间的关系,造成前景背景混淆。二、针对行为识别问题,依赖现有的模型无法模拟行为发生时具有的时间语境从而导致行为的运动和时序信息丢失,造成识别难度增大。本文通过分析时空语境的描述方法,结合深度网络下检测和识别模型构建了基于时空语境的深度网络,在一定程度上解决了以下几个问题:一、空间语境如何描述,该提取何种信息对其建模,空间语境线索如何与深度网络融合以适用于目标检测任务。二、时间语境如何描述,如何模拟不同时间语境大小的时间信息,时间语境如何与深度网络融合以进行人体行为识别任务。针对上述问题,本文主要尝试了如下工作:(1)分析了当前的空间语境和时间语境描述方法,同时重点研究了当前深度网络下的目标检测和行为识别模型,详细地探索了目前先进的检测和识别网络的理论基础、模型结构以及优缺点。(2)通过目标类别间的共现语义信息和相对位置信息两条线索描述空间语境,挖掘图片中的空间信息,构建融合空间语境线索的深度空间语境网络捕获目标类别之间的空间关系,影响检测结果的判定,以便于更加有效和准确的进行目标检测。(3)通过三维卷积和时间转换层这两种结构模拟视频中行为的时间信息。通过在残差模块之间插入时间转换层构建具有三维结构的深度时间语境网络,该网络不仅能够捕获动作特征之间的时间信息还能够保存不同时间语境大小的时序信息从而约束预测的类别标签,获得更加优越的行为识别性能。