在自然场景中,图像作为信息的载体,存在着极其丰富的文本信息,包括一些重要的语义信息,比如道路标识牌中的标识信息,街景店铺的广告信息,以及各种工业设备上的铭牌信息等。在自然场景中采集图像时,会受到复杂背景、光照角度、拍摄角度等干扰,因此会使图像中的文本信息产生形状上的改变,而且自然场景中的文字分布与传统的光学字符识别有较大的不同,图像中的文本信息没有固定的分布,字符种类多且不唯一。由于这些不确定因素,传统的光学字符识别技术不适用于自然场景中的字符识别,给自然场景中字符检测与识别工作又增加了难度。本文为进一步提高在自然场景下字符检测与识别算法的性能,广泛的查阅有关资料,并将研究现状进行了整理与汇总,针对铭牌图像中文本类型多样,包括数字、中英文字符以及特殊字符,不同的文本类型其特征又会有很大的差异,设计并实现了能够应用在自然场景中设备铭牌字符检测与识别的算法,且是基于深度学习的,具体研究内容有以下几点:1.经过对比分析,本文选择可以检测多种字符类型的CTPN文本检测算法。本文中所用到的公开数据集以及由人工采集的铭牌数据集,采集过程中由于拍摄角度、采集设备的质量存在一定的差异,会导致铭牌图像发生倾斜,而由于CTPN检测算法只能检测水平和倾斜角度不是很大的文本,从而对发生倾斜的文本发生检测错误的问题。为解决文本倾斜带来的检测问题,本文提出了一种基于铭牌角点的文本定位网络。将数据集中的铭牌图像进行处理,从而得到水平方向的文本行,提高检测精度。2.文本检测是文本识别的基础,针对文本检测过程中,由于检测算法会先生成多个文本候选框,然后再依据非极大值抑制算法进行候选框的筛选。传统的非极大值抑制算法的决定因素只有一个,即为候选框的置信得分。但是会出现置信分数高而内容不完整的情况,本文将面积与得分进行综合考量,以得到边界完整的检测框。3.铭牌图像中的文本通常是以文本行的形式出现,很少会存在单个字符的情况,如果采用单个字符识别的方法,需要对文本行进行字符分割,而中文字符的边界难以确定,会形成分割误差,从而导致识别错误。本文中采用卷积神经网络与循环神经网络相结合的方法对铭牌图像中的文本行进行识别,从而实现对不定长文本行的识别。与其他算法进行对比,在识别精度上有较大的提升。经过以上三项工作的改进,并实验对比分析,得出在相关数据集上本文采用的方法效果更为优秀,并将本文算法应用于设备铭牌场景中,检测与识别结果得到了整体提高,进一步证明了算法的有效性。