AlexNet优化与双模态握笔手势识别

来源 :东华大学 | 被引量 : 0次 | 上传用户:wwk504
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于当下的中小学生握笔手势不规范,导致写字质量不高、坐姿不良、眼睛近视以及手指关节增生等问题,对其身心健康造成不良影响。针对握笔手势的问题,我国研究者们已经对其进行了较多的理论研究,国家也出台了《关于在中小学加强写字教学的若干意见》等一系列文件,不仅强调了学生使用正确的握笔手势进行书写的重要性,而且明确定义了中小学生正确书写时的握笔手势。然而当前的握笔手势和书法教学主要采用面授和视频教学,缺乏自动化的教学反馈系统的研究与实践,且握笔手势没有公开的数据集,故依托项目研究了握笔手势数据集建设和自动化的握笔手势识别方法。主要的研究内容如下:(1)为了解决没有握笔手势数据集的问题,本文在参考各种握笔手势相关文献的基础上,将握笔手势分为九类,包括标准型、错位型、横搭型、埋头型、扭曲型、扭转型、拳头型、睡觉型、直线型。握笔手势数据集分别在白纸、类肤色的桌面、白色的桌面、杂乱的桌面、纯黑色背景以及充满字迹的笔记本背景下进行拍摄,每类手势图像900张,共计8100张。(2)针对AlexNet与单一图像模态提取握笔手势特征不充分、网络收敛速度慢、握笔手势识别率低等问题,本文提出了一种AlexNet优化与双模态握笔手势识别方法。即采用批量归一化和注意力机制对AlexNet的网络结构进行优化,并基于此优化AlexNet网络实现双模态的握笔手势识别。该方法首先对握笔手势图像进行手势分割以及骨架图提取以获取双模态图像;接着对其进行预处理;最后将处理后的握笔手势图像输入至该优化AlexNet中进行特征提取及特征融合,并利用Softmax分类器对握笔手势进行识别。(3)基于握笔手势方法的研究,本文设计并实现了一个握笔手势识别系统原型。本系统包括握笔手势图像读取、双模态图像获取、双模态图像预处理、握笔手势识别和反馈四个部分。本文根据握笔手势特征自建了九类握笔手势数据集,提出了一种AlexNet优化与双模态握笔手势识别方法,并基于此研究方法设计并实现了握笔手势识别系统原型,对人机交互方面的握笔手势识别进行了初步的实践探索。
其他文献
编织物编织成型后,具有良好的力学性能,所以在我国航空航天领域有非常多的应用。同时编织物力学性能受多方面因素影响,其中编织角和跳纱都是影响编织物力学性能的关键。而在实际编织机工作过程中,对于编织物上的编织角、跳纱的检测依然停留在人工检测阶段,容易出现错检、漏检的现象,效率极低。本课题针对立体编织物加在加工生产时对编织物检测的自动化程度不高的问题,设计了一个基于机器视觉的立体编织物实时检测系统。该检测
连城地瓜干是连城县传统的地方特色产品,位居"闽西八大干"之首,已有300多年的历史,早在清代,连城红心地瓜干已成为"贡品",取名为"金薯片"。连城地瓜干色泽鲜亮,香气纯正,口感甘醇、柔软细腻、有韧性。连城县地处福建省西部山区武夷山脉南段,属中亚热带气候区,雨水及光照充足,有效积温长,
期刊
随着信息科学技术的迅猛发展和互联网的普及,各种社交软件和电商平台的数据库存储着上百亿幅图像。在海量图像数据面前,传统的基于文本的图像检索系统存在着人工标注效率低以及受主观影响较大等缺点,已经不能满足人们日常对于图像检索的需求。基于内容的图像检索系统(Content-Based Image Retrieval)是使用图像的可视化特征对图像进行检索。图像检索提取的特征需要能够准确地表述自身所包含的语义
深度神经网络的运算通常都依赖于高性能的显卡,大容量的存储,优良的散热系统等,这些设备的高昂成本严重制约了其进一步发展和推广。同时,性能越优异的网络,其参数量和模型复杂度也越大,而一般的计算设备几乎无法运行。因此,对深度神经网络的压缩与加速成为业界的研究热点,但是对复杂模型进行轻量化设计,通常又会导致模型精度的损失。面对模型的轻量化导致精度下降的问题,本文以深度残差网络Res Net为例,对深度神经
骨龄是一种对骨骼成熟度的解释,通过它可以确定人类的生物学年龄,判断儿童的发育情况。骨龄应用诞生至今已有几十年之久,它不仅在儿科的临床环境中起着重大的作用,其应用已延伸至多个领域。目前,众多专业医师仍采用传统的骨龄评估方式,例如评分法、图谱法等。传统的骨龄评估方式耗时费力,容易受到主观因素的干扰且难以普及。在深度学习兴起之前,为克服人工骨龄评估带来的问题,人们尝试使用传统的图像处理方式来辅助医师进行
甲状腺是人体最大的内分泌腺体,甲状腺结节则是甲状腺内部的肿块,可分为良性和恶性两类。我国的甲状腺结节发病率高居全球前列,属于高发性疾病,患者基数大。超声检查由于其高效且无创的特点成为了筛查诊断甲状腺结节的主要手段。甲状腺超声报告通常描述了甲状腺腺体、局灶性病变和淋巴结的形态及血流特征,这些特征是临床医生进行结节良恶性诊断的主要依据。因此,利用人工智能技术对甲状腺超声特征进行深度学习,建立甲状腺结节
移动互联网的飞速发展和智能终端设备的广泛使用使人们的工作和生活方式逐步被网络化,“远程”和“共享”成为人们社会生活方式的主要组成部分。而且随着计算机科学、通信等传统产业的融合,多媒体正逐步深入人类社会的每一个角落。图像是一种可视化的多媒体信息,是最主要的多媒体形式之一,也是传递信息的重要媒介之一。因此,图像传输的安全性引起了研究者的关注。目前保证图像安全传输的方法有两种:图像加密和信息隐藏。本文主
目前肝脏恶性肿瘤依然是世界上最普遍的癌症之一,它也是人类死亡的主要原因,对人类健康构成了巨大的威胁。为了有效降低癌症死亡率,患者依然需要提前对身体进行全面的检查以及尽早接受治疗。然而由于肝肿瘤与其周围软组织之间的对比度较低,分界不明显,而且对于不同的病人,肝肿瘤的形状,体积,数量和位置等差异明显,同时多种扫描方案导致CT图像存在噪声干扰等问题。由于肝肿瘤分割难度较大,仅仅依赖医生的肉眼检测很难得到
速度快、准确度高的车辆检测系统不仅能够帮助交通指挥员加强对道路交通系统的管理,而且能够在交通事故等紧急事件中快速提取出事故车辆的信息,提高处理紧急事件的效率。可见,提高车辆检测的精度和速度对增强城市道路交通管理系统具有重要意义和应用价值。本文深入研究了Mask R-CNN网络模型,对其主干网络和Ro I Align进行改进,提出了CA-PS Mask R-CNN网络模型,完成以城市道路为实际背景的
随着国家经济实力的腾飞和科学技术的突飞猛进,各行各业对数据重视程度日益提高,大量生产、交易、医疗等数据被收集起来,用于企业产品升级或服务转型等诸多方面研究。面对具有高度复杂、体量大、易变性等特点的海量数据,如何对其进行精准检测和快速分析,从中挖掘出具有的潜在价值,已成为当今数字化时代研究的热点问题。作为大数据领域中的一个重要研究分支,时序数据的异常检测与快速分析技术主要利用整体数据的分布状态,找出