【摘 要】
：
随着移动互联网和移动通信技术的飞速发展,移动互联已经渗透到人们日常生活的方方面面,网络平台中每天积累的视频数据也越来越多,从海量视频数据中快速完成目标人物检索的难度越来越大,不利用算法辅助而只通过人力完成经常是代价高昂甚至难以实现的。本文基于PyTorch深度学习框架,以iQIYI-VID-2019数据集为目标数据,提出一种基于多模态特征融合的人物识别框架,并对其特征融合细节进行了充分的分析验证。
论文部分内容阅读
随着移动互联网和移动通信技术的飞速发展,移动互联已经渗透到人们日常生活的方方面面,网络平台中每天积累的视频数据也越来越多,从海量视频数据中快速完成目标人物检索的难度越来越大,不利用算法辅助而只通过人力完成经常是代价高昂甚至难以实现的。本文基于PyTorch深度学习框架,以iQIYI-VID-2019数据集为目标数据,提出一种基于多模态特征融合的人物识别框架,并对其特征融合细节进行了充分的分析验证。主要工作如下:（1）探讨并实践了基于静态图像方法的视频人物识别的一般算法,对上百万级的图像数据进行了数据处理和人脸特征向量提取,并设计实验验证了该特征的有效性;（2）将多模态特征融合引入视频人物识别算法框架,构建了基于多模态特征的视频人物识别模型,并尝试了多种融合策略以缓解由于数据缺失、噪声程度不一等原因导致识别精度无法协同增长的问题。实验结论证明,本文提出的多模态视频人物识别框架能够很好地融合不同噪声程度下的多模态语义特征,克服部分模态特征缺失带来的精度降低问题。结合多模型融合预测,最终识别精度相比于任何单一模态预测算法的结果有了较大提升,充分验证了本文提出框架的有效性。本文算法在iQIYI-VID-2019测试集中达到了91.14%的mAP。
其他文献
外肢体机器人作为一种与外骨骼机器人不同的新型穿戴式辅助作业机器人,其穿戴、运动与执行任务的种类与外骨骼机器人均存在较大差异。在工作空间受限等只能依靠单人作业的复杂工况下,由于外肢体对操作人员的肢体拓展,可提供作业任务辅助。但由于外肢体结构形态与工作内容等限制,且操作人员同时专注自身工作,因此识别操作人员控制意图并保证外肢体准确高效执行辅助任务成为外肢体机器人控制的难题。本论文研究的基于操作人员眼动
In the last decade, attention has become greater to the relationship between neurodegeneration and abnormal insulin signaling in the central nervous system, as insulin in the brain is implicated in neuronal survival, plasticity, oxidative stress and neuro
随着各类图像处理软件的兴起,人们可以肆意对图像内容进行二次编辑。如今数字图像作为一种信息载体已经在物流工程等领域中起着举足轻重的作用,大量的篡改图片会对日常工作、社会稳定带来严重的负面影响。现有的图像取证算法大多是直接利用卷积神经网络提取图像特征再进行分类。该类算法没有对物流单证类篡改图片的拼接区域占比小及拼接边缘存在差异等关键特点进行利用,故在物流单证篡改检测任务中存在模型泛化能力偏弱和检测效果
In 2001, the concept of the neurovascular unit was introduced at the Stroke Progress Review Group meeting. The neurovascular unit is an important element of the health and disease status of blood vessels and nerves in the central nervous system. Since the
在众多射线检测技术中,射线数字成像技术凭借其工作效率高、成像质量好、利用计算机存储图像更加环保的优点得到了广泛应用,在工业和医学等领域发挥着重要作用。射线数字成像系统的质量好坏会直接影响成像效果,进一步影响检测结果和相关工作的开展,所以对该系统进行性能评估就变得非常必要且重要。目前,专门对该系统进行性能评估的软件很少见,因此,本文基于C++语言和Qt框架研究并实现了一个射线数字成像系统的性能评估软
Amyotrophic lateral sclerosis is a motor neuron degenerative disease that is also known as Lou Gehrig\'s disease in the United States, Charcot\'s disease in France, and motor neuron disease in the UK. The loss of motor neurons causes muscle wasting, p
Alzheimer\'s disease is a neurodegenerative disease that accounts for most of the 50-million dementia cases worldwide in 2018. A large amount of evidence supports the amyloid cascade hypothesis, which states that amyloid-beta accumulation triggers tau h
Prion diseases are infectious protein misfolding disorders of the central nervous system that result from misfolding of the cellular prion protein (PrPC) into the pathologic isoform PrPSc. Pathologic hallmarks of prion disease are depositions of pathologi
Inflammatory processes and proinflammatory cytokines have a key role in the cellular processes of neurodegenerative diseases and are linked to the pathogenesis of functional and mental health disorders. Tumor necrosis factor alpha has been reported to pla
In vitro models have tremendously revolutionized cell biology and biomedical research, reducing the need for in vivo experiments, as well as offering the simplified models for easier investigations at molecular and cellular level (for example genetic mani