随着计算机视觉和人工智能的不断发展,结合深度学习的视觉产品在社会上的各个领域得到了极大的应用。矸石充填是煤矿安全生产中普遍采用的一种方法。这需要大量的人手,而且很可能会因为操作不当而发生冲突。因此,必须有一种更智能的方式来提升作业的效率;随着展厅展品品类的增多以及机器人的日渐成熟,设计一款智能的,可自主识别和检测展品并能够完成一些特定需求的智能解说机器人也成为了一种需要和可能;对于目标检测网络模型来说,合适的一组超参数能训练出更优的模型,所以借助进化算法优化找出最佳的超参数也是一种超参数调优的创新性方法。本文在对深度学习目标检测和语义分割学习的研究基础之上,为上述提到的三个场景问题提出了对应的解决方案。本文的研究内容如下:（1）针对煤矿矸石充填碰撞问题,本文提出了一种基于多维度语义分割的矸石防碰撞检测方法。首先,利用网络相机采集数据,针对环境图像模糊、特征不明显问题,使用双边滤波器和轮廓去噪算法,增强目标的细节特征并弱化环境噪声。其次基于Bisenet算法实现矸石充填的语义分割,并设计测距算法计算出碰撞风险物之间的像素距离。最后,针对存在的相机视角偏差问题,提出了基于Rand LA-Net算法来增强算法的空间感知能力。（2）针对展品检测和空间定位问题,本文提出了一种基于目标检测的展品检测与空间定位方法,利用彩色图像进行目标检测,结合深度相机采集的深度信息完成对特定目标的空间定位。首先基于YOLOv3算法实现展品的目标检测,提出了固定特定目标像素坐标的固定算法。然后,将深度相机和彩色相机投影到3D空间进行对齐,借助检测结果计算出特定目标的点云及其空间信息。（3）针对YOLOv3的超参数优化问题,本文提出了一种结合粒子群算法自动优化YOLOv3超参数的方法。首先,将YOLOv3的损失函数作为粒子群算法的适应度函数。然后根据粒子群算法优化的调整方向计算出局部最优值和全局最优值。最后,将优化得到的全局最优超参数作为网络的超参数进行训练,获得一个更加拟合的神经网络模型。本文主要研究基于深度学习的二维、三维语义分割、目标检测技术的具体应用。围绕语义分割和目标检测算法,依托实际应用项目为背景,利用RGB-D相机等传感器、粒子群算法,提出了针对实际问题的解决方案。通过实际场景数据集和公开数据集,验证了设计算法的有效性,同时也验证了二维、三维语义分割和目标检测算法在实际场景中应用的可行性。