传感器是机器人与世界沟通的桥梁。随着人工智能的兴起,有关传感器的研究逐渐成为新的热点。机器人能够准确识别生活中各种各样的物体不仅依赖于传感器结构的优化和功能的提升,还依赖于对传感器所得数据的分析与处理,其中研究的难点之一是如何处理不同模态的数据。图像信息有时不能完整描述物体的特征,加速度信息和声音信息的加入可以弥补图像信息对物体特征描述的不足。本文结合了传感器和人工智能算法,选取加速度、声音和图像三种模态的数据作为研究对象,设计了一个基于声强度和加速度传感器的识别检索系统,为机器人传感器的信息融合和物体识别相关研究奠定了基础。主要工作内容叙述如下:首先总结了传感器信息融合与物体识别技术的研究背景和研究现状,引出使用声强度和加速度传感器的意义。分析了实验所需的单片机、加速度传感器和麦克风的内部结构和工作原理,并将上述硬件设备嵌入到3D打印的笔体中,组成了采集实验数据的装置。使用该装置建立了一个包含20种不同木材样本的加速度、声音和图像信息的数据集。然后提取了声音信号的梅尔频率倒谱系数(MFCC)特征和加速度信号的功率谱密度(PSD)特征。使用基于局部感受野的极限学习机(ELM-LRF)来提取图像特征。阐述了各个特征提取方法的原理和提取过程,并给出不同信号的特征提取的结果。使用K最近邻(KNN)、支持向量机(SVM)和极限学习机(ELM)三种算法分别对上述特征进行分类实验。给出了各个算法的参数设定和优化结果,绘制了最优分类时的混淆矩阵来对每种算法的识别能力进行描述和分析。实验表明极限学习机在所建立的数据集中识别效果更好。最后使用典型相关分析(CCA)及其扩展方法,将加速度特征和声音特征分别和图像特征融合,并将融合后的特征应用于跨模态检索。使用平均准确率和查准率-查全率曲线评价检索性能,通过实验对比验证检索结果。收集实验装置作用于木材样本表面得到的加速度或声音信号,获得与该种木材相似的图像。设计了一款图形用户界面来展示检索结果。针对相关性分析时变量间出现非一一配对关系的情况,引入聚类典型相关分析方法(CCCA)。实验表明聚类典型相关分析能更好的融合特征,提升检索效果。