随着人工智能技术的不断进步,智能化机器人已是时代发展的需求。机器人对于复杂的动态环境,需要像人类一样拥有感知、决策、行动的能力。本文根据操作问答任务的设计需求,借助相应的多模态任务数据集,利用人工智能算法,构建一套集合视觉、听觉的机器人感知决策行为框架,从仿真环境和实际场景验证本文的协作机器人系统的先进性和实用性。本文的创新性工作包括以下内容:（1）针对机器人系统的各个设备之间的特性构建一种模块化的机械臂操作平台,利用视觉传感器、听觉传感器收集外部世界的感官信息,结合ROS分布式操作系统构建通信节点联通各个设备,合理规划机械臂末端的运动控制,并且在仿真环境和实际场景都中构建了相应的操作平台。（2）提出了一种可迁移的强化学习操作问答算法,针对不同模态之间的特征融合,利用双线性池化融合算法捕获两种特征之间的细粒度映射,完成文本特征和图像特征融合。针对模型的迁移问题,使用域随机化算法,改变训练过程中的环境特征,结合循环对抗神经网络,完成仿真到现实图像域的迁移,最终在仿真环境和实际场景验证整个系统的有效性。（3）提出了一个新的视听操作任务,构建相应多模态数据集,利用视觉信息和音频信息解释指示表达的操作指令,对于带有特定目标的操作指令,结合图像信息,利用深度学习算法定位到指定的目标物体区域。针对视觉上难以区分的物体,增加听觉传感器,利用机械臂不同的摇晃动作获取物体碰撞的音频信息,构建相应的分类算法,完成音频识别,并且运用实际机器人进行验证,实验结果表明多模态数据对于机器人操作效率有着显著的提升。