基于自动化视力检测的手势识别研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:shuaigekk1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在临床医学上通过视力检测表对被测者的视力等级进行测评,传统的视力检测方式不但存在对场地和人员都有限制的问题,并且检测时不方便。而且视力检测仪器的成本很高,还需要专业人士操作指导。以上两种方法都耗费人力物力财力,且操作不易。基于此,以实现自动化视力检测为目标,本课题主要对用于自动化视力检测的手势识别模块进行研究,对手势识别过程中的深度学习算法进行改进,提高手势识别模型的识别精度和检测速度。本文主要工作内容如下:(1)构建了适用于视力检测使用场景的手势数据集。该数据集在不同背景、不同亮度以及不同角度的真实环境中,使用电脑自带的集成摄像头采集而来。用Label Img工具对手势图片数据进行标注,可用于手势识别网络模型的训练。(2)提出一种基于肤色分割+GR-Alex Net的静态手势识别方法。提取手势图像在YCr Cb颜色空间中的Cr分量,利用OTSU算法对其进行二值化,将手势与背景分离开来。GR-Alex Net模型是在Alex Net模型的基础上改进优化,利用几个小卷积核级联代替原来的大卷积核,并且用Dropout操作代替LRN层,只保留两个全连接层,减少参数,加快计算,增加模型非线性拟合能力,从而提高模型的识别准确率,并对Le Net5、Alex Net、VGG16、GR-Alex Net做对比实验,综合对比其结果,GR-Alex Net模型在训练用时和损失率都很低的同时,识别精度最高,达到了96.88%,证明了GRAlex Net模型的可行性。(3)设计了focal loss+Sam_YOLO V3网络模型,实时识别动态手势。在YOLO V3的基础上,使用focal loss函数作为预测框中有无目标对象的损失函数,去除训练集中正负样本比例失调的影响。基于深度卷积可分离的思想,减少特征网络中的参数,简化计算,单独设计下采样模块,使网络模块化更加方便,并通过减少卷积层的层数和通道数来简化模型,提出Sam_YOLO V3模型。对YOLO V3、YOLO V3+focal loss、Sam_YOLO V3及Sam_YOLO V3+focal loss四种模型做实验,综合对比可知,Sam_YOLO V3+focal loss模型的性能是最优的,该模型在保证了每秒识别52帧手势图像的同时,检测识别的精度达到了92.9%。使用Sam_YOLO V3+focal loss模型对离线的手势视频进行测试,验证了该模型的实用性。(4)搭建了基于PC端的手势识别系统,并对静态手势识别系统和动态手势识别系统做实验。综合实验过程和实验结果来看,在静态手势识别系统中,电脑摄像头瞬间捕获的手势可能不是被测者想要发出的手势信号,这种情况导致最终视力检测的结果不准确,而动态手势识别系统能对一段手势视频进行识别,根据识别的结果,给出这段时间内的手势信息,这样的操作能解决在静态手势识别系统中的问题,从操作方便性和实用性考虑,动态手势识别系统更适用于自动视力检测系统。
其他文献
随着微机电系统(Micro Electro Mechanical System)技术的发展和微机械加速度传感器制造技术的成熟,微机械加速度传感器得以广泛应用于汽车安全控制和自动导航定位系统、机器人轮廓跟踪和运动控制、电子产品防摔和人体行为识别等诸多领域,研究微加速度传感器显得尤为重要。四悬臂梁压电式加速度传感器相较于传统的单臂和双臂结构的压电传感器而言,灵敏度高、稳定性好、横向效应和噪声低,具有动
随着物联网、5G和人工智能(Artificial Intelligence,AI)的飞速崛起以及高度融合,衍生出了一批又一批基于物联网的新型智能边缘应用(例如,智慧城市、智能安防、无人智能驾驶等)。然而,面对海量零散分布且消耗大量通信计算资源的智能边缘设备,如何提高能效以及创新供能方式成为制约智能边缘发展的瓶颈,如何巧妙联合通讯计算资源设计在降低智能边缘终端设备因模型训练而产生的巨大能耗的同时保证
互联网时代的今天,随着信息技术的发展,互联网的数据正在以前所未有的速度增长,这些数据还具有多样性,存在形式可能是图像、文本、音频、视频等等。然而,在大数据时代的今天,庞大的数据集和多彩多样的图像内容也给图像的有效检索带来了挑战。如何有效地提取具有丰富语义信息的高分辨率图像的特征,如何构造更好的损失函数来很好地保留相似性图像的语义信息,鉴于进行线性扫描的时间成本是非常巨大的,那么在大规模的数据集当中
车联网作为5G、交通和汽车领域跨界融合且最具潜力的应用,已成为我国战略性新兴产业的重要发展方向。道路安全、交通效率、自动驾驶和信息娱乐等各类车联网应用提出了低时延、高可靠、大带宽、高移动性等新的移动通信需求与挑战。本文主要解决车联网中的三个关键挑战:如何确保与交通相关的数据安全?随着移动互联网数据流量激增,如何保证车联网数据安全、可靠、稳定传输?如何利用有限的存储空间设计高效的缓存策略?本文主要聚
乳腺癌的发病率在女性癌症中位居首位,占所有新确诊癌症的30%,是威胁女性健康的头号敌人。淋巴结的转移状态是乳腺癌最重要的预后因素之一,及时、准确地检测腋窝淋巴结转移状态对指导乳腺癌的临床治疗至关重要。腋窝淋巴结清扫是临床检测的金标准,但它是一种有创的手术方式,会导致诸多术后并发症,例如淋巴水肿、血清瘤和感染性神经病变等,并且会让乳腺癌早期患者过度治疗。腋窝超声检查是一种应用于乳腺病变患者腋窝淋巴结
物理层安全是实现无线通信安全的一个关键技术,也可用于实现无人机(unmanned aerial vehicle,UAV)通信的信息传输安全。以无人机为空中移动基站,可以实现远距离通信更稳定的信息安全传输,同时也可以提高无线通信系统的通信质量和覆盖范围。然而无人机基站在和地面合法接收者通信时,由于无线通信具有广播开放的特性使得通信质量提高的同时也提升了窃听者接收到信息的强度,增加了通信过程中的安全隐
虚拟实验是一种模拟的交互式学习环境,允许学生完成实验室实验和理论的学习,而无需进入到实验室中。从空间角度区分,虚拟实验分为二维虚拟实验和三维虚拟实验,无论是感官体验还是表现形式上,三维虚拟实验更具空间感、更立体以及具备实时交互性、沉浸感高、构想性强等优点,是近些年来的热门研究方向。在虚拟世界的实验教学可以提高实验学习者的学习效率,但在人机交互方面还依旧采用鼠标、键盘等传统人机交互方式已经无法满足新
随着人们生活水平的不断提高,对汽车智能化水平提出了更高的要求。高级驾驶辅助系统随之出现,经过多年的发展,高级驾驶辅助系统已经形成了由多种传感器组成的复杂信息采集系统,毫米波雷达则是该系统的重要组成部分。由于毫米波雷达具有体积小、成本低、雨雪天气影响小等优点,受到各大汽车厂商和科研人员的广泛关注。目前,在汽车领域主流毫米波雷达分为24GHz和77GHz两个频段。24GHz频段雷达频率较低、波长较长,
随着科学技术的日新月异,大数据、物联网、云计算、人工智能等信息技术领域的得到了空前的发展。随之而来的是数据的快速“膨胀与变大”。这给身处在这个信息时代的我们带来了巨大的机遇和挑战。机遇在于若能恰当利用数据中的信息,我们定能神机妙算,事半功倍;而挑战在于我们如何恰到好处的从大量庞杂的信息中提取到我们需要的那一部分关键信息。数量大、维度高,是当前数据的普遍特点,我们在对其进行数据分析时往往耗费大量的时
目前工业机器人已广泛应用在智能制造领域,其中机器人位姿估计是工业应用中最常见的任务需求之一。在工业现场主要通过机器视觉实现简单场景下的机器人抓取位姿计算和物料分拣。随着工业控制对精确度和自动化要求的日益增长,传统的视觉位姿估计方法已不能满足日益复杂的任务场景与需求。在复杂工业应用场景中,待抓取的物体往往存在相互堆叠、交叉干扰、边缘模糊、噪声等问题,使工业机器人难以获取对于被测物体的准确抓取位姿。因