近年来,随着计算机在硬件技术上的突破,人们开始研究将深度学习技术应用于生活之中,对科学技术的依赖也不断加强,网络上的视频数据也越来越多。视频是视觉信息的重要传播媒介,视频分析也是互联网技术的一个重要课题,它在安保、交通、机场监控等方面做出了重要贡献。在视频中所要分析的经常是人体动作信息,行为识别研究因此也被推上了热潮。在现实生活中,视频往往包含大量不相关的背景片段,单纯的行为识别算法只能对视频进行动作分类,却不具备实际应用的能力,由此在行为识别之后引入了时序行为定位任务,旨在找到视频中动作发生的时间范围。对于一段长背景视频,先进行时序行为定位,再对其进行行为识别,才能真正达到人们所需的目的。本文的主要工作如下:（1）现有的大部分人体时序动作检测算法为保证高召回率而对行为特征的依赖过多,自行对特征的处理能力较低,对时序定位的边界也不敏感。针对此类问题,本文基于敏感边界网络算法,对视频特征进行概率曲线建模,并在模型内部进行边界评估,通过构建低级双流特征,降低算法对视频特征提取阶段的依赖,在不增加模型层数的基础上增加召回率,并参照目标检测领域的原理,改进非极大值抑制算法,在最后阶段对这些被忽略的时序信息的坐标得分进行加权平均,实现了模型的自我整合。（2）基于双流卷积网络在行为识别领域具有较高的准确率,为了继续提高准确率而加深网络深度的方法效果不佳,本文通过替换空间层和时间层网络进行试验对比,利用Res Net能在加深网络层数的同时不增加模型计算复杂度的优点,将其替换原始空间层网络,时间层网络替换为BN-Inception网络,对比证明替换后的异构网络要比原始的同构网络效果要好。最终在UCF101和HMDB51两大数据集上实验对比,证明了其模型的优越性。（3）设计了一款能够在PC端运行的养老院监控视频跌倒检测系统,详细的对系统的各个功能模块进行介绍,并利用Python与QT完成人机交互界面、模型调用和后台程序处理,最后利用MCFD跌倒数据集中视频对本文系统进行测试验证,证明了其可行性和有效性。