随着智能设备的普及,智能设备拍摄的场景图像中包含的高级语义信息越来越受研究人员的关注。传统的光学字符识别技术往往无法很好地应用于场景图像文本的提取和识别,因为场景图像具有扫描图像所不具备的特性。造成识别困难的原因一方面是由于场景图像本身背景复杂,且拍摄场景图像时往往条件不可控,使得场景图像存在分辨率低、光照不均、模糊等问题;另一方面,由于场景图像中的字符往往在字体、大小和颜色等方面各有差异。因此,针对场景图像的文本识别问题需要新的解决方法。本文的工作是基于这样的背景开展的。本文主要工作包括:(1)深入研究和分析了当前自然场景文本识别领域的相关技术和现状;(2)基于深度学习中的卷积神经网络,实现了一个端到端的场景文本识别系统——MatE2E系统。该系统利用卷积神经网络学习字符特征,训练了两个分类器,分别用于字符的判定和识别。MatE2E系统的主要模块有两个。第一个主要模块是文本检测模块,该模块利用字符判断分类器和滑动窗口扫描场景图像来检测可能的文本区域,之后根据图像中不同位置的文本置信度过滤非文本区域。第二个主要模块是文本识别模块,该模块结合字符识别分类器和滑动窗口扫描文本区域图像并识别其中的文字,之后利用词典更正文本识别结果;(3)使用ICDAR2011数据集、ICDAR2015数据集和街景数据集验证了系统的准确率。实验结果表明,本文提出的系统具有较好的识别效果。本文在实验数据集上的验证结果表明MatE2E系统在实际应用中具有一定的参考价值。不过,MatE2E系统还有局限性,例如:只能识别英文字母和数字;另外还需在识别速度、倾斜文本检测等方面进行改进等。