基于交互式人群视频生成的群体数据增广研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:skywing_wing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文中我们引入了一个新颖且富有挑战性的研究任务,即交互式人群视频生成,主要目标是生成多样且连续的人群视频,并用于缓解群体分析中真实数据集标注困难的问题。这个任务设定是根据用户指定的引导输入(即人群中个体的位置),在给定少量先前视频帧的情况下,不断迭代生成后续的人群视频帧。为此,我们提出了一个专为人群视频生成所设计的深度神经网络架构,该架构由两个互补的模块组成,两个模块分别对应解决人群动态合成问题和如何保持与先前帧外观一致的问题。具体来讲,本文首先提出了时空转换模块,其根据输入的位置引导和时间信息来推断出人群中个体位置和结构。另外又提出了一个可感知位置点的光流预测模块,基于光流来变换像素位置从而在生成前后保持人群中个体外观的一致性。在这之后,将两个模块的输出通过一个自选择融合单元进行融合,以生成一个保持个体身份一致的连续视频序列。与之前相关工作的不同之处在于,我们的方法能够生成包含连续人群行为的视频序列,并且不需要手动对逐个个体的身份进行匹配。大量的实验表明,本文提出的方法对人群视频生成任务具有很好的有效性。更重要的是,我们证明了用该方法生成的人群视频可以产生出不同的人群行为,并能将其作为一种新的数据增广手段从而用于提升人群分析任务性能,包括但不限于人群计数、异常群体行为检测等。本文的贡献总结如下:1)本文介绍了一项新颖而富有挑战性的任务,即交互式人群视频生成,并探究如何能够为基于视觉的人群分析工作生成出逼真且有效的增广数据。2)本文提出了一个深度网络框架,该框架由特定的对抗生成器、光流预测网路和融合模块组成,以生成符合预期行为的真实人群视频片段。3)本文整合了社会力模型来自动生成人群位置引导图,使得整个交互式人群视频生成系统具有高效性以及对用户友好的特性。此外,本文将人体轨迹预测方法与该生成框架相结合,从而可以预测人群场景中的视频帧。4)本文进行了大量验证实验来评估所提出方法的有效性。此外,将本文方法作为增广训练数据的手段应用于下游的人群分析任务中能够有效的提升现有方法性能。
其他文献
我国季节性及多年冻土地区物产丰富,建设对物流运输有利的交通基础设施将促进社会经济发展。“碳中和、碳达峰”建设理念指导下,减少交通设施建设能源消耗这种“自上而下”手段是减少二氧化碳排放的重要策略。低填方路基具有明显节能减排效果而得到更多关注,受条件限制,路基填筑及地基换填材料难以全部采用非冻胀敏感性材料,受气候交替变化影响,路基不可避免发生冻胀融沉循环变形,只从单一场分析角度难以对此过程的特征状态发
学位
随着现代科技迅速发展,人们求解现实优化问题时不再只关注数学优化方法,而更加关注进化算法对于现实优化问题的可能性与有效性。作为一种基于种群的元启发式搜索方法,进化算法对优化问题的限制很少。进化算法虽然泛用性很强,但是在解决计算密集型的优化问题时,算法优化效果仍然受到计算成本的限制。为了减少进化算法在现实优化问题中所需的计算成本,学者提出数据驱动的进化算法。数据驱动的进化算法基于优化问题中的历史数据,
学位
半监督生成学习(Semi-Supervised Generative Learning,SSGL)有效利用未标记的数据,在没有足够的标记数据的情况下,对数据收集/注释工作和生成性能进行权衡。在有限的监督下,学习精确的类语义对于类条件图像生成至关重要。为此,本文提出了一种半监督生成对抗网络(Generative Adversarial Network,GAN),其判别器带有一个嵌入掩码模块(Mask
学位
面对冷链产品的需求量和品质要求日益增长的现状,物流公司应致力于提高冷链物流配送效率并尽量减少配送过程中产生的产品质量损耗。考虑到制定合理的配送方案是实现上述目标的有效途径之一,通过冷链物流调度来寻找最优的配送方案具有重要意义。由于需要考虑配送过程中产品的质量损耗,冷链物流调度比传统的物流调度更具挑战性。此外,冷链物流调度还面临着真实冷链物流配送场景中的交通环境变化以及订单动态变化这两大挑战。由此,
学位
随着社会经济和科技的快速发展,调度问题的重要性日趋明显,同时,人们对调度方案可行性和高效性的重视程度也越来越高。其中,应急资源调度问题和作业车间调度问题受到广泛的关注和研究。然而,现有研究仍然存在着一定的局限性,例如调度模型考虑的因素和优化目标不够全面等,从而难以很好地满足实际应用需求。为了进一步缩小该研究领域的空缺,本文从模型和算法两个方面对应急资源调度问题和作业车间调度问题展开深入研究,分别从
学位
图像非盲解卷积是图像复原与科学成像中的一个重要问题,它旨在从给定的模糊图像及模糊核中还原出潜在的清晰图像。近年来,监督式深度学习成为了解决图像非盲解卷积问题的主流方法,其通过大量的(模糊图像,模糊核,清晰图像)三元组数据来训练神经网络模型,获得了远超传统非学习方法的性能。然而,在不少应用中,例如生物、医学和天文成像,真值的清晰图像的采集成本大、采集难度高,有时甚至是不可能获得。这限制了监督式深度学
学位
目的:基于虚拟现实技术开发多发伤护理教学系统,并对系统进行测试与评价。方法:1.系统的开发:基于真实性、反思性与内容适度性、交互体验与多感知性等设计原则,采集临床病例,筛选整合临床病例后,结合《外科护理学》、《内科护理学》、《基础护理学》和《健康评估》等课程元素,编写本实验剧情脚本。设计本虚拟现实护理教学系统的训练内容、成绩报告单和界面等方面。采用3D Max、3D Maya和Cinema-4D等
学位
在岩体施工中,岩体的力学特性主要受结构面的影响,结构面的组合方式决定着岩体的变形与破坏形式。所以结构面信息的快速准确获取是岩体稳定性分析的前提。传统的结构面采集方式主要依靠人工测量,该方式耗时较长,效率低下,且受地形影响较大,无法对一些高陡边坡及险要地势处结构面进行获取,因而难以满足现代快速施工的要求。近年来随着计算机技术和摄影技术的不断发展,非接触式测量技术逐步兴起且日渐成熟。与人工测量方式相比
学位
随着时代发展的需要,雷达的应用范围也逐渐扩大,根据其在不同行业的使用需求,从传统的地面雷达向着海洋雷达,航空雷达,钻孔雷达等多种形式延伸。作为雷达的重要组成部分,天线所起到的作用不言而喻,其探测性能更是直接决定了雷达的探测能力,因此提高天线的探测性能便成了众多研究者的首要目标。本文主要目的是利用单发多收天线阵实现天线定向,并满足钻孔中低频带高带宽的需要,从而提高天线的探测能力。自钻孔雷达问世以来,
学位
目的:颈椎病的发病率逐年上升,其伴发的多种症状常常干扰患者的日常生活活动,而常规的康复治疗未能取得令人满意的效果。本研究观察器具辅助软组织松解术与康复手法联合应用,探究对颈椎病患者的疼痛程度、功能恢复、关节活动度、生命质量和心理状态的改善作用,为颈椎病患者的康复治疗提供辅助治疗方式,为器具辅助软组织松解术的推广使用提供试验数据。方法:本研究是一项随机对照试验,共有46名符合纳入/排除标准的颈椎病患
学位