在微创手术中,主刀医生需要助理医生手持内窥镜以获取手术视野。一方面内窥镜传输的二维图像缺少深度信息,医生无法直观地获取良好的手术场景,另一方面助理医生和主刀医生协同动作的不一致会增加手术难度甚至引发安全事故。而随着机器人技术的发展,应用于医疗领域的手术机器人越来越普及,手术机器人可以代替医生完成一些繁琐耗体力的操作,减轻手术难度的同时提高手术的安全性。本文以机器人辅助微创手术为研究背景,搭建一套基于语音控制的手术机器人三维成像系统,利用单目图像序列恢复软组织的三维结构从而为医生提供直观的手术场景,同时提出了一种基于语音指令的手术机器人控制方法解决助理医生与主刀医生配合不协调的问题,在一定程度上提高手术的安全性。利用单目内窥镜采集的图像序列恢复软组织的三维模型是手术机器人三维成像系统的核心任务。本文利用单目相机从多个位置拍摄体外软组织图像,分析软组织图像特征信息并提出一种低分辨率特征筛选与级联哈希搜索的图像特征匹配策略,提高了特征匹配运算效率。在得到软组织的三维点云模型后,本文进一步实现了点云的稠密化和网格化处理,将无序的点云转化成具有拓扑结构的表面网格模型。为了提高软组织重建模型的真实效果,本文采用纹理映射的方法对网格模型进一步处理,针对纹理缝隙现象提出了改进的缝隙修复数学模型,并取得了显著的改善效果。实现医生和手术机器人的智能交互可以避免医生与辅助人员配合不协调的问题,本文建立了一种语音控制的人机交互模式即利用医生的语音指令信号控制手术机械臂完成相应动作,这种控制方式可以降低医生的手术难度同时提高手术的安全性。根据实际场景的需求,本文设计了基于混合神经网络的语音识别系统,并结合实际机械臂的控制模块搭建了手术机械臂语音控制系统。语音识别系统的输入是人工提取的语音信号语谱图特征,输出是手术机械臂的9种运动指令。本文进一步整合手术机器人的语音控制方式和三维成像系统,完成基于ROS的遨博(AUBO)机器人实验平台的搭建,验证了用户利用语音信号控制手术机械臂的可行性,并展开了语音控制机械臂模式下的三维重建实验,通过实验验证了本文设计的基于语音控制的手术机器人三维成像系统的可行性。