目前,全球正面临着人口老龄化,并由此引发了一系列严峻的社会问题。随着家庭结构模式趋于小型化,生活节奏不断加快,养老问题变得格外突出,对社会的发展带来严峻考验。智能机器人的出现为上述问题的解决提供了一种新的思路,本文基于机器视觉算法和机器人行为控制算法的研究,设计并实现了一个视觉引导下的机器人行为控制系统。本文主要工作包含:（1）基于深度相机的物体识别与定位。首先拍摄了953张包含44种物体的室内场景图像,并利用Label Img完成标注,并将其与Microsoft Common Objects in Context（MS COCO）数据集和Pascal Visual Object Classes（Pascal VOC）数据集部分图像一起形成训练集。其次利用迁移学习对基于You Only Look Once version 4（YOLOv4）算法的目标检测网络进行训练。最后通过深度相机得到待抓取物体（目标物体）的深度值,根据Socket编程,将目标物体坐标位置传递给下位机,用于指导机器人的行为。通过实验表明,加载训练好的目标检测网络,目标检测成功准确率达到94.17%。（2）基于反向传播（Back Propagation,BP）神经网络的机器人行为控制。根据上位机提供的目标物体空间坐标位置,搭建BP神经网络,拟合目标物体空间位置与机械臂各舵机脉冲宽度调制波占空比之间的映射关系,完成网络训练和测试。通过实验表明,加载训练好的BP神经网络,配合压力传感器,机械臂抓取物体成功率达到90.03%。（3）基于深度强化学习网络的机器人行为控制。基于BP神经网络的机器人行为控制方法存在动作不协调、无效动作等问题,同时单纯的BP神经网络是一个开环系统。为了解决上述问题,本文采用深度强化学习来进行机器人行为控制。传统的深度强化学习仅将机械臂末端执行器和目标物体之间的距离作为奖励函数,本文给出了一种新的奖励机制,该奖励机制增加角度和相对距离的约束。通过实验表明,所提方法改善了机械臂动作不协调以及无效动作等问题。经过系统调试与测试后,本系统能够在室内环境下,完成多种物体的识别和定位,并协助行动不便的人完成物体拿取,达到了系统设计需求。其对于促进家庭服务型机器人的推广应用具有重要的理论意义和实用价值。