【摘 要】
:
面对不断扩大的海量视频数据的处理需求,越来越多的企业选择使用HDFS这类分布式文件系统作为视频文件存储的载体,如何高效地分布式读取HDFS中存储的视频帧数据也成为了国内外
论文部分内容阅读
面对不断扩大的海量视频数据的处理需求,越来越多的企业选择使用HDFS这类分布式文件系统作为视频文件存储的载体,如何高效地分布式读取HDFS中存储的视频帧数据也成为了国内外学者研究的重点。但是目前传统的视频分析应用和视频库在分布式读取视频帧操作中存在三个问题:视频帧的分布式可读取性障碍、帧间关系保持问题和“数据本地化”问题。本文针对HDFS的存储特点,结合视频文件结构上的特殊性和读取视频帧操作的特点,提出了两种基于HDFS的视频帧分布式读取模型。本文所做的工作如下:1)本文提出了基于VSF的视频帧分布式读取模型。在该模型中,本文设计了VSF文件作为视频文件的替代。VSF文件是一种二进制序列化文件,其基本存储单元为Record,本文将解码后的视频帧数据和帧号以Key-Value键值对的形式存储在Record中。针对“数据本地化”问题和不同类型的视频分析任务,本文设计了多种Record填充策略。在分布式读取视频帧操作中,应用程序可直接读取Record中解码后的视频帧数据。2)本文提出了基于VMD的视频帧分布式读取模型。在该模型中,本文在HDFS集群的基础上增加了VMD组件和视频元数据文件。VMD组件记录了HDFS中所有视频文件的URL及其指纹摘要信息的映射关系,而视频元数据文件是一种二进制序列化文件,该文件存储了视频文件的基本元信息和视频文件的I帧字典。在该读取模型中,应用程序通过VMD组件获得视频元数据文件,利用视频元数据文件的I帧字典获取所有I帧的文件偏移量和帧号,此时应用程序可以直接定位至I帧并依次读取并解码后续的视频帧。最后,通过对两个模型的可用性和性能进行实验。在可用性方面,本文提出的两种视频帧分布式读取模型均能分布式读取并正确解码存储在HDFS的视频帧数据。在性能方面,基于VSF的视频帧分布式读取模型在VSF的生成阶段产生大量的额外时空开销,而基于VMD的视频帧分布式读取模型的视频元数据文件的规模较小,生成视频元数据过程也未产生较多的时空开销;在分布式读取视频帧操作的性能方面,基于VSF的分布式读取模型性能略优于基于VMD的分布式读取模型。
其他文献
米仓山地区下寒武统牛蹄塘组泥页岩有着良好的沉积厚度,且有机质丰度高、有机质成熟度高、储层物性好、保存条件较好,符合页岩气成藏的有利条件。因此,开展米仓山地区牛蹄塘组页岩气成藏条件研究对于勘探开发页岩气资源具有重要意义。本论文以沉积学、油气地球化学和油气地质学等理论为指导,通过对牛蹄塘组页岩的岩性组合及分布特征、沉积相与岩相古地理特征、有机地球化学特征、储层特征、保存条件等的具体研究,总结出研究区页
目的:对比分析微创旋切加置管引流与穿刺抽脓对哺乳期乳腺脓肿(lactational Mammary abscess)的疗效,并通过相关客观指标综合比较和分析两种治疗方案的优缺点,为哺乳期乳腺脓肿的治疗提供最佳方法。方法:将天津市中心妇产科医院乳腺科2019年1月~2020年1月的门诊就诊的80例哺乳期乳腺脓肿的患者资料进行前瞻性分析。根据患者意愿将上述患者分为微创旋切加置管引流组及超声引导下穿刺抽
随着计算分析方法的发展和施工技术的进步,大跨度预应力结构因其轻质、高强且兼具美观的优势而被广泛应用到各大体育场馆、航站楼、飞机库、干煤棚及仓库的建设中。在预应力
本学位论文主要是深入研究近(仿)Kaehler流形中的殆(仿)切触子流形,共有六章.第一章研究近Kaehler流形S6中的殆切触拉格朗日子流形,是对文献[37]中结果的推广,本章给出S6的拉
随着全球价值链(GVC)的不断深化和国际非股权形式(NEM)的日益活跃,跨国公司通过国际非股权形式将东道国企业纳入全球价值链分工当中。如果不同形式的NEM具有不同的特点,那么
反式翻译是细菌中普遍存在的核糖体拯救机制,其核心分子SmpB(Small protein B)和tmRNA一起修复翻译出错导致的核糖体滞留。此外,SmpB还可以调节双组份系统,对蛋白质进行质量控制,影响持留菌的形成,调节细胞周期等。本研究以一种新型的人鱼共患病原菌即维氏气单胞菌C4为研究对象,通过构建cDNA文库,利用细菌双杂交筛选SmpB互作蛋白,并以该互作蛋白为切入点,探索SmpB参与调控的下
扫除文盲,实现全民教育是全球教育议程中的一项长期而重要的内容。21世纪初,国际社会提出要在2015年将文盲数量减少50%的目标。为此,联合国制定“扫盲十年行动计划(2003-2012
随着我国经济的迅速增长,但城乡社会分化却愈发严重。教育是突破阶级壁垒实现社会流动公认的重要途径。相较于学校教育的重要性,著名的科尔曼报告则证实了家庭背景对子女教育具有更重要作用。本研究将问题聚焦于家庭背景与学生教育上,以父母教育卷入为主要变量,探究家庭社会经济地位对农村学生自我教育期望的影响,以及父母教育卷入在家庭社会经济地位与农村学生自我教育期望中是否和如何起到中介作用。本研究主要采用问卷调查法
随着我国隧道建设规模的快速扩大,隧道机械化施工技术水平急需提高。软弱围岩(IV、V级围岩)钻爆法开挖时,为保证围岩的稳定性,一般需要采用钢拱架进行初期支护。目前国内隧道
算子谱理论中的一个课题—关于Weyl型定理的变形和推广是近些年来的一个热门问题,已经取得了丰硕的研究成果.Hilbert空间上的框架是标准正交基的一种推广,是Duffin和Schaeffe