信息技术的发展使人类能够接触更多元更丰富的信息,然而对于一些视障人士来说,满足基本生活所必需的信息获取都存在极大困难。对于视障者而言,环境信息的感知是其独立生活的主要需求。计算机视觉的发展为盲人辅助提供了新的思路。然而,与自动驾驶领域的积极进展相比,视障人士辅助方面的研究相对较少。针对这一现状,本文致力于研究用于盲人视觉辅助的环境感知和障碍物规避方案。为了方便盲人出行,主要研究室外非限制条件下三维场景表示和障碍物检测。在障碍物检测的任务中,2D物体检测发展成熟,但只能得到物体在2D图像上的包围框位置及类别信息,这对于实际障碍物规避来说是不够的。而目前基于图像的3D物体检测研究还不够成熟,算法的实时性与准确性都有待提升。因此本文尝试对传统的2D物体检测框架加以改造,提出了一个轻量级的3D物体检测网络——YOLOv3D。该网络能够同时预测出物体类别、2D包围框及物体朝向和大小等三维信息,再利用投影关系计算出物体在真实世界中的方位,能够实现基于单目彩色相机的3D物体检测。用于自动驾驶领域stixel(本文译为棒状像素)算法利用双目相机获取视差信息,通过前后景分割实现三维场景的中级表示,算法简单,计算量不大;但该算法具有相机高度、倾角固定等限制条件,且只包含深度信息而不包含语义信息。基于深度学习的语义分割为场景中的多种类型的物体提供了一种统一的识别方法,并且很多网络结构如ERFNet等都能在小型处理器上实现,且能满足一定实时性要求。本文将语义分割和棒状像素算法结合在一起,得到非限制条件下三维场景的语义棒状像素表示。综上,本论文的主要内容为:一是提出了 一个轻量级的3D物体检测框架YOLOv3D,从单目RGB图像检测出3D物体,并得到物体的类别、朝向、位移、尺寸等信息,实现非限制条件下实时的3D物体检测。二是结合语义分割与棒状像素算法设计出了语义棒状像素算法,实现非限制条件下三维世界的场景表示;此外,本文还设计出一套可穿戴视觉辅助设备,通过一种高效的声音映射方案将障碍物的空间及类别信息传达给盲人。