科学技术的进步与提高,使得人机交互显得额外普遍与重要。手势的灵活、便捷等特点,使得它逐渐地成为了人机交互的主要桥梁。但是自然复杂环境下的手势识别受到诸多因素的干扰,使得手势检测识别一直是一个极具挑战的学科交叉研究问题。本文搭建了一套室内自然场景下的手势检测识别交互控制系统,针对自然场景下的四种静态手势完成检测识别任务。本文从以下两个方向开展研究:(1)通过一个结合Haar特征的Adaboost检测器快速分割出手势图样,由于手势的多样性以及图像背景的复杂性,本文选择使用将TPLBP和HOG梯度直方图特征相融合的方式作为新的特征进行智能手势的识别。由于HOG算子对于复杂场景下的光照明暗变化有较强的鲁棒性,TPLBP算子对复杂场景下的手势纹理特征拥有较好的提取性能。将HOG特征与TPLBP特征结合起来,可以有效的表达手势的纹理特征以及增加复杂情况下对光污染的抗性,最后将融合后的特征输入到人工神经网络中进行手势的验证分类。(2)应用近年来逐渐火热且技术纯熟的深度学习目标检测YOLO v3卷积神经网络进行自然复杂环境下的四种手势识别,实现一个端到端的检测网络。但是目前来说YOLO v3仍存在一些问题:One Stage检测目标位置不够准确、IOU的优化方式不够合理、深度学习检测速率较低等。根据存在的问题,本文提出利用Focal loss前后景分类优化、GIOU回归损失优化以及Tiny-Model帧率提升,以此解决实际应用中存在的问题。最后,基于Windows平台搭建了基于人机交互的智能手势控制系统,通过控制系统我们可以完成四种手势的人机交互体验,实现“一切尽在掌中”。