近几年,机器人技术的发展已成为衡量一个国家综合实力和创新能力的标准之一,世界各国纷纷把机器人技术的发展列为21世纪本国的科技发展计划。目前,机器人对周围环境的感知不仅仅局限于使用视觉信号,也会使用能对视觉信号进行补充的触觉信号。如何有效地将视觉信号和触觉信号融合提高机器人对周围环境信息的感知分类是一大难题。鉴于中国视触多模态融合的研究水平和国外水平还有一定的差距,所以多模态融合方法是一个很有研究价值的课题。机器学习作为人工智能的一个重要研究领域,主要用卷积神经网络(CNN)对数据信息提取高阶表示。在网络训练的过程需要使用梯度下降方法不断迭代调整网络的参数,因此,网络会存在反向传播算法(BP)训练网络时间长、过拟合、局部最优等缺陷。为解决上述问题,黄广斌等提出了超限学习机(ELM),该方法不仅可以避免BP神经网络的缺陷,而且可以提高网络的分类性能。在ELM方法的基础上,黄广斌等提出基于局部感受野的超限学习机方法(LRF-ELM),该模型引入CNN网络的局部感受野(LRFs)概念,实现输入层和隐含层的局部连接,大大减少网络的参数。LRF-ELM模型具有训练网络速度快、计算复杂度低和泛化性能好等优点,可以广泛适用于自然语言处理、计算机视觉等领域。LRF-ELM方法在继承ELM方法优点的同时,存在只适用灰度图像特征提取,而不能适用于复杂纹理变化的图像特征提取不足,因此,对LRF-ELM模型有进一步改进的必要。本文针对LRF-ELM方法的不足,对该方法进行一系列改进,最后提出一种多模态融合方法,并将该方法应用于机器人物体材质分类中,通过触摸和观察物体表面快速识别出物体的材质种类。本文的主要研究内容和创新点如下:(1)针对传统LRF-ELM方法只适用于灰度图像,并不能充分利用图像的颜色信息的缺陷,本文提出基于局部感受野的超限学习机三通道算法(LRF-ELM-3C)。在网络输入层对图像进行R、G、B向量分离,分别输入与之对应的颜色通道进行特征提取,可以有效避免外界干扰;然后将特征向量融合后进行分类,该方法可以有效提高分类性能;(2)通过研究LRF-ELM-3C算法发现:虽然该算法可以充分利用图像的颜色信息,但是该网络仅使用一个固定大小的卷积核提取图像特征,并不能适应变化复杂的纹理图像。由此,本文提出基于多尺度局部感受野的超限学习机算法(MSLRF-ELM)。MSLRF-ELM同样在输入层对图像进行R、G、B向量分离,在隐含层采用多尺度的LRFs进行卷积和池化操作;接着将提取的特征向量进行融合和分类;(3)在MSLRF-ELM算法的基础上,提出基于多尺度局部感受野的超限学习机多模态融合算法(MM-MSLRF-ELM)。本文利用TUM触觉数据集的视觉图像、触觉加速度信号和触觉声音信号三个模态的信号进行多模态融合实验。首先用MSLRF-ELM网络分别将各个模态信号进行特征提取;然后在混合层进行特征向量多模态融合;最后使用MSLRF-ELM网络进行高代表性特征提取和分类。实验表明MM-MSLRF-ELM算法可以有效地应用于机器人对物体材质的分类中。