以二维图像驱动的三维目标检测

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所) | 被引量 : 0次 | 上传用户:xm1209xm1028
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测技术发展到今天,已经十分成熟。依赖于强大的深度学习技术,如今的目标检测算法已经脱离数学描述,转变成机器自动学习的特征描述方法,效果十分惊人。在2D目标检测技术已经应用于实际工程后,人们开始关注三维目标检测。然而深度学习的问题在于需要依赖于大量有标注数据集。二维图像的数据集容易获得,但是三维点云数据集成本获取成本就要高很多。二维目标检测可以使用摄像头作为图像获取设备,三维目标检测则需要深度感知设备区获取点云。常见的深度感知设备例如激光雷达、深度相机等。激光雷达有效距离在150m左右,但是价格昂贵,通常在几万到几十万不等。深度相机(如双目相机)一般价格便宜,在几千元左右,但有效作用距离不超过10m。激光雷达高昂的价格限制了三维目标检测的实际落地应用,价格低廉的深度相机有效作用距离根本不足以满足稍远距离的目标检测任务。因此就产生了三维目标检测的关键性问题:成本与有效距离。对于三维目标检测来说,不但硬件成本高,软件成本也高,三维点云数据获取困难,标注困难,尤其是远距离目标的三维点云,根本无法获取。然而,我们日常使用的相机就可以获取丰富的信息,也可以看到很远距离的目标,价格也很低廉,但是由于相机成像模型本身的原因,深度会在成像过程中丢失,目标深度不可恢复,无法使用图像直接恢复深度。因此,本文以一种独特的、非主流的视角,研究了如何以低成本的摄像头为主要感知设备,深度感知设备为辅助,或者不使用任何深度感知设备来进行三维目标检测,成本低,有效距离远,具体很高的工程意义。本文主要的创新性研究工作及研究成果如下:1)提出了一种适应多种场景的快速图像增强方法,提高图像质量,作为后续目标检测的预处理工作,提升检测的准确率。针对图像增强各种算法专一性高,通用性差,计算速度慢,并且色彩恢复后往往出现颜色偏差等问题,本文提出了一种快速自适应快速图像增强方法,该方法包含光照均衡和直方图矫正。针对过亮或过暗图像提出一种自适应偏移方法。采用均值与方差去提取图像主要部分进行色阶调整,最后使用高斯滤波提取光照亮度进行光照均衡化。整个算法只存在一次卷积操作,速度快、效果好、通用性强。通过实验验证,该算法对于水下、去雾、夜视、过度曝光、色差偏差过大都有很好的效果,并且无需更改参数,自适应强。可以应用在汽车驾驶、水下设备、航空航天影像设备当中。2)提出了一种基于实例分割的目标三维位置估计方法。在这项工作中提出的方法,无需三维数据训练集,可以快速准确的进行三维物体点云的提取,仅使用二维检测器就可以达到三维物体检测的目的。本文提出的方法可以用在多种传感器中,如RGBD相机、相机-雷达,双目相机等。首先在二维图像下对目标进行实例分割,根据目标的分割掩码提取出目标的深度图像与RGB图像并转化为粗略点云,最终进行异常噪声点去除,得到精细的目标点云。在室外数据集KITTI与室内数据集TUM上进行了测试,结果表明该方法可以准确的估计到目标位置信息,相比于其他点云分割算法,实现简单成本低,无需任何的点云数据作为训练样本。3)提出了一种基准面先验理论,用于单目相机中的目标深度估计。在这项工作中,我们提出了一种简单快速且有效的目标深度估计方法,叫做基准面先验,该先验建立在相机成像模型中,通过寻找感兴趣目标与基准面的交点,为2D图像中的深度恢复提供一个约束,估计目标在相机坐标系中的位置。假定一些常见目标(如车、人)都站在地面上,并且地面的法向量是不变的。相机高度已知,通过寻找目标与基准面的接触点,估计目标在相机坐标系中的位置。结果:我们在KITTI上进行了误差实验。KITTI中有10k以上的目标,环境复杂,大部分目标深度在7m-90m之间,通过大量统计数据,我们的方法在KITTI上的平均误差在7%-25%之间,误差与距离正相关。同时我们在室外采集了少量远距离样本,目标在100m-200m之间,我们的方法误差在10%-30%。实验证明了我们的提出的方法可以不使用任何深度感知设备就可以估计目标的距离,速度快、成本低,有效作用距离取决于相机,使用长焦相机达到很远的距离。
其他文献
石墨烯具有极高的机械强度、层间表面易剪切和高化学惰性等性能,被认为是理想的固体润滑剂。然而,实验发现石墨烯虽然在纳米尺度上的机械强度高、摩擦系数小,但是在微观和宏
随着卫星技术的不断发展,卫星的功能和在轨任务变得越来越复杂,卫星的数据处理量也变得更大。卫星综合电子系统是实现卫星内部数据管理和信息处理的系统,因此当下卫星领域要
我国进入全面建设社会主义现代化国家、向第二个百年奋斗目标进军的新发展阶段,政府部门间的协同配合对提升政府效能至关重要,尤其在当今信息化高速发展的新时期,利用大数据技术实现跨部门的协同治理,是社会发展、民生诉求、深化改革的客观需求,是实现人们美好生活愿望的重要抓手,也是多个国家、政府、地区在发展的新阶段所必经之路,是顺应时代发展的新趋势。本文选取农安县作为案例,意在通过分析部门协同现状、存在的问题,
随着航空航天事业的蓬勃发展,航空遥感稳定平台广泛应用在导航、定位、航空拍摄等领域中。在进行航拍等任务过程中,由于存在各项干扰对航空遥感稳定平台的视轴指向精度以及稳定性等方面产生巨大的影响。因此,本文以航空遥感稳定平台为研究对象,针对系统在运动过程中出现的未知非线性干扰、耦合干扰等问题进行分析和研究,并对航空遥感稳定平台控制算法进行了优化。首先,建立航空遥感稳定平台的数学模型。以经典的直流无刷力矩电
在我国进入到老龄化社会后,人口老龄化危机以及人口高龄化发展趋势都对养老产业的发展产生一定的影响,在这样的背景下养老机构缺失、养老资源匮乏以及养老产业供需不平衡情况日益加剧,在很大程度上限制我国养老产业的可持续发展。在近几年的摸索和尝试之后,得出社区居家养老的方式最贴近老年群体的实际需求,也是老年群体中接受程度最高的养老方式。我国十八大会议中指出政府需要进一步增加购买社会公共服务的力度,让更多老年群
随着经济的发展,市场竞争也越来越激烈,企业要想在市场中取得竞争优势就必须要不断完善企业的管理和产业链,优化企业资源的合理配置等等。而企业进行资产重组也正是源于这一目的,成功的资产重组不仅可以帮助企业实现资源的优化配置、扩大企业的规模、增强企业的竞争实力,更重要的是可以帮助企业实现业务转型和产业升级,从而使得企业产业链更加完善,开拓出新的盈利模式和新的利润增长点,提升企业的盈利水平。但是,企业在进行
家庭养老是我国最传统的养老方式,也是国内认可度最高的养老方式。但在城市化和工业化双重推进的今天,国民的生产生活方式逐渐发生改变,使得空巢家庭不断增加,家庭养老的方式逐渐不能够解决新时代的养老难题。之后涌现出的养老机构同国内的传统养老文化产生了矛盾,又因其所需的服务费数额较高,故而到现在为止发展规模不大。这一背景就给城市社区养老服务带来了良好的发展空间,但城市社区养老模式的发展是需要地方政府承担主导
婚姻家庭的和谐是社会安全与稳定的根本,也是公共道德的直接体现,它可以直观反映家庭其他成员和谐关系以及法律的普及度。但一直以来,家庭暴力行为都是社会面临的严峻问题,家暴时有发生,这一行为不仅会对受害人的生理与心理产生影响,也有可能会引发各类的刑事犯罪案件,从与之相关的案例可以看出,这一问题正在被广泛关注。社会调查的数据显示,每年都有众多女性遭受过另一半的家庭暴力,无论是冷暴力或是行为暴力等都曾在近四
习近平总书记在党的十九大报告中强调,加快生态文明体制改革,建设美丽中国。生态文明建设功在当代、利在千秋。我们要牢固树立社会主义生态文明观,推动形成人与自然和谐发展现代化建设新格局,为保护生态环境作出我们这代人的努力。树立尊重自然、顺应自然、保护自然的生态文明理念,把生态文明建设放在突出地位,融入经济建设、政治建设、文化建设、社会建设各方面和全过程,努力建设美丽中国,实现中华民族永续发展。这表明我们
探针光谱分析是近年来分析化学领域的重大研究领域。根据探针的组成、形状和性质,光谱探针有很多种类别。近年来,有关半导体纳米光谱探针如量子点、碳点的研究已经取得了辉煌