文字作为人类高层语义信息中最直接的表示形式,在图像理解中扮演着不可或缺的重要角色。近年来,研究人员针对场景图像中英文、汉字等文字的检测和识别方法已经进行了深入研究,并取得了丰硕成果,但针对复杂场景图像中的蒙古文字检测和识别方法研究还处于起步阶段。在此背景下,本文主要研究内容如下:1.本文研究了一种基于深度学习和最大稳定极值区域(MSER)的场景蒙古文字检测算法。目前,由于缺少大规模场景蒙古文字检测数据集资源,无法训练得到鲁棒的深度检测网络模型,但基于MSER的方法不需要大量训练样本,且对视角、字符大小、光照变化具有鲁棒性。在MSER方法基础上,只需要相对较少的训练样本就可以训练出高效稳定的卷积神经网络(CNN)分类器,用来判断候选连通区域是否是蒙古文字区域。实验结果表明,所提方法能够良好地完成场景图像中的蒙古文字检测任务。2.本文研究了一种虚拟场景蒙古文字样本生成方法。在蒙古语言文字信息化的快速发展过程中,关于印刷体蒙古文档图像分析和文字识别方面已经开展了大量工作,但针对场景中的蒙古文字识别研究开展的较少。一方面关于蒙古语言文字的研究开展的较晚,另一方面由于缺乏大量的训练样本,导致无法将深度学习方法直接应用到该领域。本研究内容通过模拟真实场景中可能遇到的光照、遮挡、复杂背景、形变等环节干扰,生成了一个虚拟场景蒙古文字识别训练和测试数据集,以便于评估和改进现有方法。3.本文研究一种基于孪生网络的场景蒙古文字识别方法。蒙古文字是将蒙古文字母从上到下紧连着书写而成,内部局部形变小,而且蒙古文字类别大、训练样本不足,这些特点和人脸验证问题情况相似。所以本研究借鉴人脸验证中常用的孪生网络方法,并针对场景蒙古文字识别问题做了对比试验,将文字识别问题转化为计算样本之间的相似度问题。实验结果表明,所提方法能够有效缓解训练样本不足问题,提升场景蒙古文字的识别性能。