一种高效率短视频处理框架的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:rilinx_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,短视频行业热度飞速上升,各大头部平台的短视频流量呈爆发式增长。作为短视频流量世界领先的公司,字节跳动对于短视频处理技术非常重视,面对并发访问量日益提升的用户群体、处理流程日益复杂的技术场景,公司对短视频处理效率的要求也越来越高,而原生方案中存在一系列弊端,如冗余的编解码、频繁的模型编译、单一的处理模式。为解决以上问题,本文设计并实现了一套高效率的短视频处理框架。框架通过一套更高效的解决方案,成为了公司多类视频业务的统一底层框架,服务于多种不同视频场景。流程方面,框架利用一种有向无环图结构将短视频的处理流程预先记录于内存中,通过拆分处理流程的搭建和执行阶段,达到节省I/O交互和避免重复编解码的效果,使短视频处理效率显著提升。架构方面,底层框架的统一化对公司业务架构起到很好的收敛作用,既能避免系统间依赖版本不一致,也能通过将模型封装为通用模块来避免频繁编译。模式方面,框架提供多种运行模式,为批处理等特殊场景带来了更高的处理效率。框架采用分层结构,分为服务层、装配层、引擎层和处理层四个组成层级,服务层负责统计与维护批量任务,装配层负责搭建与优化处理框架,引擎层负责框架执行期间模块的协作与配合,处理层专注于模块的底层处理工作。本文按照软件开发的流程论述了这套高效率短视频处理框架的设计与实现过程。首先通过项目背景阐述了研发本框架的必要性,然后介绍了与框架开发相关的技术,接着围绕用例图展开了需求分析,并借助“4+1”视图模型阐述了框架总体架构,之后论述了框架四个层级结构的详细设计过程,并对其中关键实现点进行了代码展示,最后通过测试数据论证了框架的高效性。目前,这套高效率的短视频处理框架已开始在公司内投入使用,因其效率提升的显著性、统一管理的便利性和模块开发的灵活性,正在被越来越多的业务方接入使用。
其他文献
众包测试是众包活动在软件测试领域的应用。众测数据如测试报告在众测平台中经过一系列处理交付给需求方,由于中间过程缺少透明度,用户很难判断其来源与可靠性。数据溯源通过对数据来源与转换过程的追溯,能够确保数据真实性。当前的数据溯源系统多采用中心化架构,恶意用户为了利益能够进行数据篡改,溯源数据本身的真实性无法保障。联盟链是有准入机制的区块链,账本数据由经过验证的节点共同维护,具有去中心化、不可篡改的特点
党的十九大明确把精准脱贫、污染防治、防范化解重大风险纳入当前国家经济建设的重点,并持续推进。该项决策的实施,有利于提高各级政府对融资债务等风险的关注度及防控力。本
城市内河为城市提供了蓄洪与景观等多种生态服务功能,在自然、社会、经济与环境价值各方面推动着城市的发展。由于人为活动对城市内河的影响,导致水污染问题日益严重,城市内河也逐渐变为黑臭水体,成为城市面临的突出水环境问题。本文归纳国内外河流健康评价指标体系中所涉及到的指标,并结合建邺区水环境状况进行筛选,最终选取了河流生境物理指标、水环境指标、生物指标和人工干预指标四个方面13个指标作为城市内河水体健康评
微波加热与传统加热相比,具有加热快且均匀、选择性加热、易于控制、清洁无污染等特点。目前微波加热技术在冶金中被广泛研究,且部分已实现工业化应用。针对传统低碳铬铁合金冶炼技术中冶炼设备寿命短、冶炼温度高、冶炼时间长等问题,开发了微波场中硅热还原铬铁矿新工艺。但目前对微波场中硅热还原基础研究很少。本文在常规加热和微波加热条件下,研究了硅热还原铬铁矿冶炼低碳铬铁合金的反应热力学及动力学,并在微观上对还原产
氧化镓作为一种超宽禁带半导体材料,具有高击穿场强、大禁带宽度的特性,在高电压、高功率密度、低功耗的功率电子器件方向有着重要的应用前景。氧化镓具有多种晶相,通常人们研究较多的是热力学稳定的β相氧化镓及其功率器件,而对于热力学亚稳定的α相的认识仍处于零散状态,不够充分和系统。本论文通过构建低成本超声雾化辅助化学气相沉积(Mist-CVD)生长设备,在蓝宝石等衬底上实现高质量α氧化镓异质外延,揭示位错随
在我国,行政“黑名单”制度凭借其强大的行政管理效能被各级行政部门广泛采用,作为从属于社会信用体系下失信惩戒制度的一项子制度,被运用到几乎所有行政管理领域。在产生巨大的行政效益的同时,行政“黑名单”因其法律依据不足、权力边界模糊、程序规范缺失、救济渠道不畅等问题饱受诟病。现代行政法以“限制公权力,保障公民权利”为基本价值指引,如何对行政“黑名单”进行有效的法律规制成为重要的问题。对行政“黑名单”开展
随着近年来生活智能化水平不断提高,线上购物更加便捷,线下实体零售行业竞争也日趋激烈。购物中心作为向消费者提供综合性服务的商业集合体,不断遭受电商的冲击。与此同时,购物中心粗放的经营方式也暴露出诸多问题,其中运营绩效考核体系的落后严重影响了购物中心的可持续发展。正确的运营绩效考核可帮助购物中心发现运营中存在的问题,而运营绩效考核体系的好坏对其提高运营实效与预期收益有至关重要的作用。当前大多数购物中心
目前,我国经济已由高速增长阶段转向高质量发展阶段。文化产业成为推动我国经济高质量发展的重要动力。文化产业的高质量发展不能没有投融资的大力支持,如何吸引更多资源进入文化产业、挖掘文化产业投资项目、丰富文化产业融资方式、使投入资源更加有效地运行等问题受到众多学者的关注。作为一个文化资源丰富的大省——河南省,在文化产业领域里有着独特的优势。近年来,河南省政府大力支持文化产业的发展,不断加大对文化产业的支
社会热点主要是指一定时期和范围内社会上出现的引发广泛关注的相关社会现象、重大事件等。其往往会涵盖社会的主流问题。帮助人们更快了解社会热点,不仅有助于让人们形成社会主义核心价值观、开阔眼界、拓展知识,还有助于人们主体意识觉醒、理论联系实际、更深刻地了解社会。伴随着互联网的发展,新闻技术也日新月异,互联网表现出明显的便捷性和快速优势,可很好的满足新闻工作要求。目前新闻获取与传播主要通过互联网进行,且在
无论是在革命时期的社会秩序重构,亦或在新中国成立后社会主义道路的逐步探索与建设时期,社会动员一直是中国共产党领导人民群众取得社会发展、实现中华民族伟大复兴的重要方式。在农业合作化运动初期,受保守、狭隘的小农意识的影响,农民对于农业合作化运动抱有各种顾虑与抵触思想。山西作为农业合作化运动的先行者,在各级党委的领导下运用多维动员手段,扭转了群众对于集体化道路的模糊认知,使得农业合作化运动得以蓬勃开展,