智能视频监控中事件理解的关键技术研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:weiqing1120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事件理解是智能视频监控中的重要研究方向,在安全防范、刑事侦查和城市管理等方面有着广泛的应用前景。传统的监控视频事件理解主要是通过人工查阅的方式,处理速度慢、自动化水平低、成本高,远远无法满足大规模智能视频监控的需求。另一方面,随着人工智能技术的发展,计算机自动化地高效理解视频中发生的事件成为可能。因此,视频监控事件理解技术逐渐成为研究的热点。围绕智能视频监控中的事件理解,本论文从人体动作实时识别、监控视频中异常事件检测、基于自然语言查询的事件检索三个方面开展研究。本论文的主要贡献具体如下:(1)结合三维卷积神经网络和时序编码的实时动作识别方法。针对视频多层次时序结构的复杂性,我们提出了使用三维卷积神经网络来捕捉单帧视觉特征和建模视频帧间的短时信息,同时提出了时序编码算法来捕捉视频中的长时序特征。整个过程中我们不需要提取如光流图那样计算复杂度高的特征,在训练和测试阶段均对视频稀疏采样,从而降低了时间复杂度。此外,我们还使用剪枝、量化等算法来压缩模型的大小,方便模型的实际部署。实验结果表明我们的方法实现实时识别人体动作的同时,也提高了动作识别的准确率。(2)基于迁移学习的异常事件检测方法。针对监控视频中训练样本不足,我们从大规模动作识别数据集上迁移相关的共性知识,利用动作识别中的动作类别和事件检测中的事件类别之间的语义相似度,完成事件检测。此外,我们发现了监控视频中的背景偏差现象,即现有的模型并没有学到异常的模式,而是根据监控视频的背景信息作出的判断,并针对性地提出了区域损失函数来引导模型关注异常区域,还提出了使用元学习来建模训练样本之间的关系,增强模型的泛化能力。实验结果表明我们的方法提高了异常事件检测的准确率。(3)语句引导的多阶段语义融合的事件检索方法。基于自然语言查询的事件检索以自然语言为查询目标,在视频中定位出自然语言所描述事件的起止时间。针对语句中语义信息复杂性的挑战,我们在特征提取阶段,设计了前期调制模块来调节视觉特征的提取过程,以生成包含丰富语义信息的视觉特征;在时序定位阶段,设计了后期引导模块使用语句特征生成用以更新网络特征图的注意力,来进一步融合视觉特征和语句特征。在公开数据集上的实验结果表明,我们的方法提升了视频中事件检索的准确率。(4)面向视频监控的事件理解原型系统的设计与实现。为了验证本文算法的有效性,我们设计并实现了面向视频监控的事件理解原型系统,并使用该系统在实际场景下对提出的上述算法进行了多角度的验证和分析,验证了本文的方法能实时提取视频特征、检测特定事件、检索自然语言描述的事件。该系统可在智慧安防、智慧城市和智能侦查等众多领域推广应用。
其他文献
高管是企业的灵魂,对提高企业的创新水平、企业价值从而提升核心竞争力至关重要。作为市场微观个体的企业是否具备创新活力,事关我国经济高质量发展与中华民族伟大复兴战略全局。目前学术界对高管特征研究成果颇丰,但研究高管学术经历对企业创新与价值影响的成果相对较少,这在当前国家鼓励高校与企业人才融合的背景下恰恰尤显重要与迫切。有鉴于此,本文将“高管”定义为在企业中具有举足轻重的地位,负责企业战略决策方向和经营
学位
第一部分构建及鉴定低表达CLIC1稳转人胃癌裸鼠皮下瘤和原位瘤模型目的:用前期实验获得的稳定低表达CLIC1的单克隆胃癌细胞株构建裸鼠皮下瘤和原位瘤模型,利用Protein Simple Wes技术(简称WES技术)进行鉴定。方法:1.培养各株胃癌细胞即空白对照组(Control,CON组)包括SGC-7901和MGC-803,阴性对照组(Negative Control,NC组)包括SGC-79
银杏二萜内酯葡胺注射液是江苏康缘药业股份有限公司开发的中药五类新药,是以银杏二萜内酯为原料,采用葡甲胺作为增溶剂制备而成。银杏二萜内酯原料系银杏科植物银杏Ginkgo biloba L.的干燥叶经过加工制成的提取物,主要含有银杏内酯A、B、K等成分,在注射液中银杏内酯类化合物主要以开环形式存在。由于银杏内酯类化合物在生物体内以开环和闭环形式同时存在,且银杏内酯类化合物的开环对照品难获得,因此同时研
在技术平台不断助力学科教学的背景下,学习数据分析支持的区本精准教研研究主要围绕优化诊断练习系统,探索学习数据分析模型,提炼基于数据分析的教研路径三个方面展开。以教学与评价融合为重点,以课堂学习与课后练习诊断的数据分析为基础,解决小学数学课堂教学的真实问题,让教研从基于经验转向经验与证据相结合。
住宅绝非一般意义上的可供居住的房产,其含义应界定为能够满足个人和家庭生存发展的居住条件和环境的总和,是决定人类基本生活福利的具体和持续的要素之一。住宅在人类进化和发展的历史中具有重要地位。在现代社会,人类对于住宅的需求已经不满足于遮风避雨的低层次的生理需要和安全需要。住宅对于个人及其家庭人格自由和尊严的充分实现和发展具有十分重要的意义。住宅问题是指因人的住宅需求无法得到满足而带来的各种社会问题。住
如今,数值仿真成为推动气体放电理论发展的重要手段之一。通过比较数值仿真与实验结果的异同,不断改进数值计算模型,可以逐步建立更接近真实情况的气体放电模型,从而更加深入地详细了解气体间隙放电过程的微观发展变化规律,进一步获得目前通过实验手段难以测得的关键放电参数,推动气体放电理论的发展。近些年,流注放电逐渐成为是气体放电仿真研究的重要内容与切入点,流注放电仿真的关键问题在于求解由粒子输运方程和Pois
研究目的本研究一是利用糖尿病文献大数据,分析国际上中国对世界内分泌与代谢领域的贡献,国内中国大陆、台湾、香港三个主要地区糖尿病研究的发展,展示中国在世界糖尿病研究方面的发展趋势。二是利用真实世界仝小林教授诊疗糖尿病门诊病例的临床大数据,分析仝小林教授态靶结合诊疗2型糖尿病的诊疗模式,挖掘糖尿病各个态势分别对应的证型,各个证型的辨证要点、核心方药,以及指标和症状对应的靶药,从而优化态靶结合诊疗2型糖
目的胃肠积热属阳明病热证范畴,是无形热邪或有形热结壅于胃肠而导致胃肠阳热偏胜的状态,是阳明腑证(即承气汤证)的“证前阶段”。临床观察发现,胃肠积热与小儿呼吸道感染可能存在一定的相关性。肺炎喘嗽是儿科临床的常见病、多发病,有较高致死率。本研究拟系统运用临床流行病学及循证医学相关研究方法探索胃肠积热与小儿肺炎喘嗽的相关性,对小儿肺炎喘嗽、小儿反复呼吸道感染(recurrent respiratory
非线性波导作为片上集成光路中最重要的光学器件之一,得到了人们的广泛研究。与高非线性光纤相比,非线性波导具有体积小、耗能低的优点,它的出现使得传统的非线性光学再次焕发了新的生机。波导能够将光的模场很好地限制在芯区中,从而提高光场强度,使得其在较低的泵浦能量水平下,就可以产生非线性响应。波导的色散对其横截面结构尺寸的变化敏感,可通过改变横截面的结构尺寸对其色散进行调节。得益于CMOS工艺的不断进步,人