基于深度迁移学习方法的盲文识别技术研究

来源 :兰州大学 | 被引量 : 1次 | 上传用户:guogangw1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
盲文识别是盲文信息处理研究中非常关键的一步。不仅对盲文工作者有十分重要的意义,在实际生活中,也有助于促进盲人和明眼人间的沟通交流,推动我国信息无障碍事业的发展。由于传统的盲文识别方法受到环境和设备的影响较大,且人力标注样本成本过高,不能实现盲文的自动识别,因此发展有效的盲文识别方法对于我国信息无障碍的发展具有重要意义。目前已有深度学习方法应用于盲文识别的研究,且实现了盲文的自动识别,但是目前深度学习在盲文识别领域的研究还是基于研究者自己制作的数据集,盲文图片相对规范,尚未有公开的盲文公共数据集来验证算法的有效性。考虑到采集盲文图片时局限性较多且有一定的条件限制,因而现实中得到的盲文图像数据集通常规模较小且识别难度较大,进而需要研发一个盲文识别模块来解决公共盲文图像数据集的制作及现实场景下的盲文图像数据集识别问题。深度迁移学习,作为目前主流的机器学习算法,已经在很多实际场景应用中都取得了成功,因此,本文在已有的盲文识别算法的基础上,从现实场景下盲文图像数据集识别的角度出发,利用现有的规模较大、规范程度较高的盲文图像数据集,引入深度迁移学习方法,建立了实用性更强的盲文图像识别模型。本文主要工作内容如下:首先,对盲文识别现有的研究方法进行了分析整理。并且对深度学习方法和深度迁移学习方法进行了简单阐述,重点介绍了我们工作中用到的两种卷积神经网络模型,并从原理上分析了两种卷积神经网络模型及深度迁移学习的优势及其在图像识别领域的一些实际应用。然后,针对盲文图像数据集间存在的差异问题,本文提出了一种深度迁移学习算法DAA(Domain Auto-alignment,DAA),目的是减少两个盲文图像数据集之间的领域分布差异。首先对源域和目标域的样本嵌入分布进行初步对齐,得到中间状态的高度批归一化的源域和目标域的嵌入向量,然后再用最大均值差异MMD(Maximum Mean Discrepency,MMD)进行精细度量继续减少两领域嵌入间的分布差异。同时在深度学习框架Caffe下,以GoogleNet网络模型作为深度迁移网络的载体,搭建了多种不同结构的迁移网络模型,通过从各网络模型的分类准确率、网络结构复杂度、度量的选取及网络收敛速度等方面进行对比分析,确定最佳迁移网络模型。并在Office-31和Office-Caltech数据集上验证了DAA算法的有效性。最后,针对现实场景下的盲文图像数据集识别问题,进行了基于深度迁移学习方法的盲文识别研究,以规模较大、规范程度较高的盲文图像数据集A模拟标准盲文图像数据集并作为深度迁移学习的源域输入,规模较小、规范程度欠佳的盲文图像数据集B模拟现实场景下的盲文图像数据集并作为深度迁移学习的目标域输入。数据集A主要来源于与中国盲协、中国残联共同成立的“信息无障碍研究中心”,通过对每一类盲文点进行收集并人工核对得到;盲文图像数据集B则主要是通过手机拍摄和网页截取到的盲文点。在实验数据集的制作过程中,我们尽可能地选取了多种实际环境下的盲文图像,以提高模型的鲁棒性。实验结果表明,深度迁移学习方法能够有效地帮助现实场景下盲文图像数据集的识别。本文用深度迁移学习来处理现实场景下盲文图像的识别问题,充实了深度迁移学习方法在盲文图像识别领域的研究,拓宽了盲文识别研究的思路,同时,在后续研究中将该方法与盲文机器翻译方法相结合,对现有盲文数据集的扩充及公共盲文图像数据集的制作提供了新思路。
其他文献
尾矿坝是矿山生产的重要设施,也是重大危险源。尾矿坝一旦溃坝,将污染环境、造成经济损失、危及附近人民的生命安全。地震是尾矿坝事故发生的重要原因之一,因此研究尾矿坝在
本文对1936年到1949年上海《大公报》79篇和重庆《新华日报》108篇关于纪念鲁迅的报道和纪念性文章进行定量和定性研究,企图梳理鲁迅形象的媒介建构过程,并分析影响鲁迅形象
交替共聚物因其完美的周期性序列结构而可看作是一类特殊的均聚物,且表现出与其共聚单体各自的均聚物以及无规/梯度/嵌段共聚物截然不同的性质。将具有高反应活性却由于空间
中国共产党十九大报告指出“我国经济正处在转变发展方式、优化经济结构、转换增长动力的攻关期,必须坚持质量第一、效益优先,以供给侧结构性改革为主线,推动经济发展质量变
[目的]睾氟升高作为一个氟对生殖系统影响的指标已经被广泛接受,我们推测氟可以通过血睾屏障(Blood testis barrier,BTB),然而,对于氟如何突破BTB导致睾氟含量升高,未进行深
隔震技术由来已久,20世纪60年代兴起的基础隔震技术在国内外经过了大量的研究、试验与工程实践,尤其是强震的考验,证明这是一种有效减小建筑结构地震损失的方法。与传统的抗
本文依托国家自然科学基金项目“内河大尺度钢和钢筋混凝土组合高桩码头结构界面损伤和能量耗散机理研究”,通过现场试验与有限元模拟相结合的方式,研究影响钢管混凝土柱横截
Nowadays,the usage of influencer marketing on the social media platforms in Thailand is a popular marketing strategy which providing an effective result for promoting tourism industry in Thailand.Many
随着机构投资者对大类资产配置的需求日益上升,对不同资产收益率轮动的研究越来越值得重视。而宏观经济变量与不同大类资产收益率之间存在直观逻辑的关系,因此可以从经济变量与资产收益率之间的关系为切入点进行研究分析,得出大类资产配置的有效建议。现有的学术研究成果主要集中在以下几个方向:首先,传统资产定价理论CAPM通过线性回归的统计方法分析了不同基本面变量与资产收益率间的关系,为本文的研究提供了思路;其次,
多旋翼无人机由于其垂直起降、性价比高的特点,在多个领域应用广泛。无人机和车辆协同进行控制是现在交通和军事领域重要的研究方向。无人机利用车辆上的标志物,通过单目的视