随着我国社会主义现代化建设不断深入,旧城改造和基础设施建设产生的建筑垃圾越来越多。对城市化进展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式。然而人工分拣处理存在着效率慢、污染严重、对人身危害大等问题。目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节。但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割。本课题主要从两个方面研究和优化固废对象的分割:基于多模态信息的深度卷积神经网络分割算法和基于卷积条件随机场的优化算法。具体完成的工作如下:针对建筑固废图像颜色严重退化、固废对象黏连堆叠严重、固废对象种类众多等情况造成分割对象难度大的现状,提出一种基于跨通道融合RGB信息特征和深度信息特征为多模态特征的深度神经网络方法解决固废对象分割问题。并在提出算法的基础上,通过条件随机场建立能量函数计算特征自适应的成对相关性,进一步提高算法精度。算法的主要流程如下,首先在颜色退化严重的场景下,把彩色图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率;然后基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块;接着利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割。在此基础上,针对算法速度较慢的现状,改进全连接条件随机场,采用卷积条件随机场,将条件随机场中二元项计算像素与其它像素的成对相关性限制在卷积核尺寸范围内,极大地降低了计算潜在成对可能的复杂性。然后基于图形处理器加速运算新的能量函数,算法耗时减少了一个量级,分割精度有一定提高。最后在固废图像测试集上,该方法取得了92.15%均像素精度和91.00%均交并比。此外,与目前一些优秀的语义分割算法相比,也表现出了优越性。本文提出的方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取。