对视频中的动作进行定位是理解视频内容的一个重要手段，然而，视频中的动作往往有着丰富的语义内容和复杂的背景知识，使得这些动作并不能完全被归纳到一个预定义的动作集中。为了解决这个问题，基于自然语言的视频段定位(Query-based Moment Retrieval in Videos，QMRV)被提出，QMRV主要研究的是：给定一段自然语言描述作为检索语句，我们要从一段未剪辑的长视频中定位出与该描述相对应的视频片段，即确定该视频段的起止点。作为一个新出现的领域，QMRV任务由于其在视频理解和人机交互方面的广泛应用，正得到各个领域研究者们的越来越多的关注。近年来，一系列基于滑动窗口匹配，或者跨模态注意力机制的方法被提出，使得QMRV取得了很大的进展，但是这个领域仍然十分具有挑战，最新方法的定位结果仍然不够准确。同时，作为一个跨模态的任务，精确的视频段定位对模态信息的编码，以及充分的跨模态交互有着很高的要求。本论文针对QMRV目前需要解决的一系列问题进行了研究，提出了一个联合跨模态-自模态图注意力网络(Jointly Cross- and Self-Modal Graph Attention Networks，CSMGAN)。
　　首先，相较于之前的工作仅用循环神经网络对检索语句的信息进行编码，我们提出了一种分层句子编码器(Hierarchical Sentence Encoder)来对检索语句进行语义特征提取，其主要思想是：从单词、短语、以及句子等多个层次来对检索语句的信息进行全面地捕捉和融合，从而实现对有助于视频段定位的文本信息更精确地捕捉。
　　然后，传统的工作往往关注模态之间的信息交互，而忽略了模态内部的信息对于定位的重要性。但是模态内的信息，对于序列内从属于同一动作间元素的关联和不同动作间元素的区分发挥着很大的作用，这个特点对于精确的视频定位有很大的帮助。因此我们提出了一个联合跨模态-自模态注意力图(Jointly Cross- and Self-Modal Graph)来同时考虑跨模态间的交互以及自模态内的关系建模。其主要思想是：利用跨模态间交互对两个模态间的信息进行关联，再利用自模态内的关系建模对内部相关元素进行关联。通过多层联合注意力图，来实现对两个模态信息的高阶交互。
　　最后，我们在ActivityCaption、TACoS和Charades-STA三个数据集上都进行了实验，来验证我们网络的效果。实验结果表明，我们提出的CSMGAN在三个数据集上均取得了明显超过现有最好方法的结果。同时，我们进行了丰富的消融实验和可视化实验，对我们网络中的元素进行了深入的研究。