面向三维重建的单目深度估计研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:hongwei3330857
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
场景深度估计是计算机视觉中重要课题之一。准确地从图像中获取场景的深度信息,对重建场景三维结构信息起着至关重要的作用,对物体检测、语义分割等计算机视觉任务具有极为重要的意义。由于单目深度估计本质上是一个病态问题,传统研究主要是基于结构光和双目等方式。随着研究者对深度学习的研究越来越深入,单目深度估计重新引起了研究者的注意。本文中提出遮挡线索引导和场景聚合的深层神经网络(DCNN)模型,能从单张彩色图像中预测出对应场景的深度图。模型主要设计了三个模块以及采用多约束损失函数,大大提高了单目深度估计的精度,同时能很好的在深度图中保留场景的结构信息。本文根据单目深度估计任务为逐像素回归问题的特性,采用了基于编码器解码器的网络架构。本文提出的网络模型由五部分组成:编码器、解码器、全局信息提取模块、遮挡线索学习器以及条形精修模块。编码器利用步幅大于1的卷积或者池化操作来提取多个尺度下的场景特征;解码器使用反卷积操作恢复特征分辨率并对场景深度布局进行预测。为了保存更加丰富的全局信息,从而对场景的全局深度布局进行表征,本文用空洞卷积和平均池化组成了全局信息提取模块,融合多个大感受野下和子区域的场景上下文信息。遮挡线索学习器通过将不同层次的特征进行融合,利用高语义特征对低语义特征的引导,逐步筛选和深度变化无关的细节信息。本文的条形精修模块由两个正交的条形卷积和残差模块组成,更好的融合全局深度布局和遮挡线索信息,并推理出场景中每个像素点的深度值。为了验证本文提出的模型有效性,本文在NYU Depth V2数据集上进行了定量和定性的对比实验和消融实验,以及在SUNRGB-D数据集上直接进行了深度图的预测证明模型的泛化性。同时,本文中实现了基于ROS的三维重建系统,并将本文提出模型预测的深度图替换掉Kinect采集的真实深度图作为系统输入,取得了可观的重建效果。
其他文献
随着我国市场经济的不断发展,对于企业登记的审查制度由原先的实质审查改为以形式审查为主、实质审查为辅的模式。政府也改变了职能,从“全能型政府”走向了“服务型政府”。
目的:下胫腓联合损伤(lower tibiofibular syndesmosis injury)是临床上常见的踝关节骨折伴发伤。如何对急性损伤的患者进行下胫腓联合损伤的筛查诊断,是治疗的关键。常用的影像学检查方法有X线、CT扫描及MRI,其中以前两者为主。随着多层螺旋CT(multislice spiral CT,MSCT)的出现,其可清晰地观察踝关节的解剖结构及下胫腓结构的细微变化。故在此探讨
轻钢结构住宅体系是绿色建筑常选用的一种结构体系,其形式多为密柱密梁的框架,一般用于三层或三层以下的低层建筑,具有轻质高强、施工速度快、可实现标准化和产业化等特点,在当前加快新农村建设的背景下,为促进低层轻钢住宅推广,提出了一种创构抗震性能优良且造价低的带支撑框架的新方法,将其应用于轻钢住宅中以提高抗震性和经济性。该方法综合利用多种技术手段,包括非线性时程分析、等效静荷载、BESO(双向渐进结构优化
近年来,近红外(NIR)光诱导的光疗法(如光热治疗、光动力治疗等)由于其具有深层组织穿透性和较低的副作用而成为一种新兴的癌症治疗方法,越来越受到人们的重视。目前,虽然已经研发出集诊断和治疗于一体的多功能纳米材料,但是将诊断和治疗在单一的“元素”纳米粒子上实现仍然是一个挑战。金属铋的多种化合物已经应用于多种疾病的临床治疗领域,具有很好的医学应用前景。目前,多种金属铋纳米材料已经被制备出来并且应用于生
微博语言对维系和谐网络生态环境很重要。目前对微博语言的研究大多集中在语言特征、语言风格、交际策略等方面,但对网络生态环境的研究却很少。本研究主要在阿伦·斯提比的生态语言学的框架下探讨微博语言的语言表现形式、微博语言的故事类型、微博语言所反映的生态观,具体围绕以下三个研究问题展开。(1)微博语言的语言表征是什么?(2)微博语言讲述了怎样的故事?(3)不同的微博语言表征反映了怎样的生态观?本研究以20
随着移动通信的蓬勃发展,下一代无线通信系统必须满足更低延迟和更高可靠性的高要求。在这种情况下,NOMA系统以其高频谱效率和解决多用户冲突的优点受到了广泛的关注,而为了满足更加严苛的通信质量要求,研究在超可靠低时延这一指标驱使下采用的一些技术对NOMA系统的影响是十分有必要的。本文研究了超可靠低时延通信(Ultra-Reliable and Low-Latency Communication,URL
随着大数据时代的到来和5G技术的推进,产生了大量的时空数据。挖掘时空数据获取有价值的信息势在必行,其中在时空异常数据挖掘领域,能对事件产生异常行为前进行预警预测,拟在提前对可能发生重大危害和损失的事件作出预警及相关的应对措施。因此,时空异常数据挖掘有着重要的研究价值。基于时空扫描统计量的聚类分析是时空异常数据挖掘的主要方法之一,诸多学者在该研究领域已取得一些成果,但仍存在以下缺陷:第一,时空扫描模
随着当代艺术的不断发展,越来越多的艺术家把影像语言与绘画相结合。图片、动态影像、光媒体等手段越发频繁地被运用在了绘画作品中。当代中国画的创作从影像艺术中吸纳了许多新的表现语言和艺术观念,使当代中国画的创新性出现了新的转机。本文从四个部分展开论述当代中国画中运用影像语言的现象,第一部分,通过对当代中国画中影像语言的成因进行分析,论述当代中国画创作中运用影像语言的历史必然性;第二部分,分析当代中国画创
随着信息互联网的迅速发展,人们之间的信息的交流及传递方式都会变得更加的方便快捷。而移动通信技术的发展已经成为互联网发展的一大主要标志,现阶段移动通信技术已经发展到了第五代技术,并且第六代技术正在酝酿之中。第五代移动通讯技术相比较其他几代来说,其可以实现连续的广域信号覆盖,其网络传输速率大幅提高而网络延时却大幅度降低。由于其拥有广覆盖和高传输的各种优点,五代通信技术给万物互联带来了新的希望。而基带芯
伴随着我国的城市化进程,在城市交通设施日益完善的同时,机动车保有量急剧攀升,城市道路网承受着巨大的压力,致使城市交通拥堵、环境污染等问题逐步加重。智能交通系统(Intelligent Traffic System,ITS)凭借其先进的科学技术手段已经成为减缓交通拥挤和满足出行者意愿的最有效途径之一,其核心功能是实现交通控制与诱导,而实时、高精度的短时交通流预测是提升诱导能力及道路管控的前提。通过对