在当今的信息社会时代,视频数据呈现爆炸增长的趋势。从海量视频中获取有价值的关键信息变得尤为重要。随着深度学习技术的快速发展,视频理解已成为研究热点。本文从视频亮点检测、时序动作定位等方面进行视频语义研究。在节省视频浏览时间、节约制作视频的成本等方面具有一定的实际应用价值。鉴于视频数据包含图像、文本、音频多个模态的信息,本文提出了一种用于实时自动剪辑视频亮点的多模态分析方法(MAA)。目前,与提取亮点相关的大部分工作均是使用单一方法检测单个或多个亮点。而本文结合了计算机视觉领域中的多种算法,对多种视频语义信息进行建模,实现了更加多元化的亮点检测。构建了四种丰富的以体育视频为中心的数据集用于多模态分析。通过自动编辑亮点实验系统测试直播流,一方面,针对定义的精彩事件验证实验结果。另一方面,通过打分机制与专业视频编辑人员制作的亮点视频进行分析对比,评估亮点的质量,进而证明MAA的有效性。针对未修剪的冗长视频,本文提出了一种新的时序动作定位算法,设计了多流时序网络(MTN)和提议评分网络(PSN)。将图像、音频、动作等多模态信息对视频内容进行多维度编码作为网络的输入,丰富特征编码信息。对不同模态的特征采用早期融合方式进行时序运算,目的是使对定位真实的目标动作更有利的某模态特征得到最大化利用。加入不同模态的中间层特征融合支路和用来提取视频提议级别特征的时序卷积层,使多模态信息深度融合并能高度表征视频的关键内容。最后,在两个公开数据集和一个手工创建的数据集上展示了本文算法的有效性和优势。