WebRTC视频帧率提升算法研究与会议系统设计实现

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:why7981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着各种新技术的不断涌现,WebRTC应运而生。WebRTC是一项基于浏览器的多媒体实时通信技术,也是终端音视频接口的标准化抽象和实时通信的建立、多媒体编码格式以及传输的标准规范。只要满足这些标准规范,Web端和移动端都可以得到应用。除了像WebRTC这样的新技术外,与WebRTC相关联的视频后处理技术也在不断研究和更新中。其中帧率提升技术就是视频后处理技术中研究的热点,其在数字媒体领域有着广泛的应用,不仅可以用于提高视频在播放端的质量,也可以用于平衡海量的视频数据与有限的带宽资源之间的矛盾。本文首先对WebRTC的整体框架、核心技术等进行研究,并对影响着WebRTC视频质量中的帧率调整策略进行研究。由于WebRTC的实时视频技术中采取了一定丢帧策略,故而对视频后处理技术中的帧率提升技术进行研究。本文主要对传统的帧率提升算法作了研究分析,同时对CNN、U-net、Res Net等神经网络进行研究分析,针对传统帧率提升算法的不足,结合深度学习的优势,提出一种基于改进UNet的帧率提升算法。该算法使用U-net和Res Net的结合,将视频的相邻两帧作为输入,通过U-net网络编码和解码操作输出插值帧。实验结果表明,这种基于深度学习的帧率提升算法所预测的视频插值帧,能够有效的避免传统帧率提升算法存在的块效应,很好的提升视频的感官质量。最后本文通过对WebRTC核心技术的研究,并结合项目需求,设计与实现基于Android端的WebRTC视频会议系统。该系统主要分为客户端和服务端,服务端主要是满足流媒体数据传输、信令服务以及NAT穿透等服务。对于流媒体数据的传输主要采用的是基于SFU通信架构的服务器,信令服务主要是采用Web Socket协议实现,NAT穿透主要采用结合了STUN和TURN的服务器。客户端主要包括用户注册登录模块、视频会议模块、IM即时消息模块以及直播模块。系统实现后,通过对系统的功能测试和性能测试分析,该系统基本能满足各个模块的功能需求,能保障正常的安装、使用和卸载。
其他文献
随着我国市场经济的不断发展,越来越多的企业想要通过上市来进入资本市场进行直接融资,利用充足的资金来提升自身竞争实力。但在现有的政策背景下,IPO上市的门栏高、条件严苛
巧求老板办事如何获得老板的理解与支持呢?问题的答案不像问题的提出那样简单。要想获得老板对你的理解,你要遵守下列几个问题:(1)时间原则:要在老板有时间的时候谈事情。老
目的:观察穴位贴敷结合吐纳呼吸操对哮喘患者的临床疗效观察方法:1.选取2019年6月至8月于江苏省中医院针灸康复科门诊接受穴位贴敷治疗的哮喘缓解期患者,将符合纳入标准的53
目的分析探究应用尼莫地平治疗高血压脑出血患者的临床效果。方法 2010年5月至2015年5月,我院接收高血压脑出血患者共计89例,按照住院时间顺序依次编号,前44例患者接受常规的
城市现代化的速度日益加快,在提升城市形象和满足城市功能的同时也带来了诸多城市问题。城市用地紧张,绿地面积得不到保障,成为当下热点问题。重视城市各类绿地的利用效率,挖
多媒体能充分调动学生的多种感官参与学习,因而深受广大教师的青睐和学生的欢迎。针对多媒体下的小学数学教学进行探析。
竹黄菌(Shiraia bambusicola P.Heen)是短穗竹属(Brachystachyum Keng)等竹子上的病原真菌,其子实体竹黄是一种传统的中药,具有止咳化痰、活血止痛等功效。竹黄中的有效活性
带状疱疹并同侧上肢运动麻痹及肌萎缩1例报告张春敏杜心美孙青刘金耀(山东医科大学附院皮肤科250012)患者雷某,男,57岁,因左上肢及手部出现簇集性水疱伴疼痛15天以带状疱疹就诊。患者发病前,左
随着决策环境以及决策问题日益复杂多变,以及人类自身思维认知的模糊性和知识的有限性,决策者往往难以给出准确的决策信息,只能给出较为模糊和不确定的信息,传统的多属性群决
<正>华泰集团按照科学发展观的要求,以提高企业效益为中心,以建设节水型企业为目标,打好节水"小算盘",做足节水大文章,通过引进高新技术改造提升传统造纸产业,狠抓节水管理,