自然场景图像上的文字信息中包含了非常丰富而准确的高层语义信息,是我们对于场景内容元素理解的关键。随着生活的智能化,图像和视频应用的快速增长,在图像检测中,自然场景的文本检测识别技术也得到了国内外学者的广泛关注。但是,因为自然场景的复杂性和不确定因素的影响,为文本检测识别技术的发展带来了很大的困难。因此,对于自然场景的文本检测识别还存在着许多技术上的困难。本文针对自然场景下的文本检测与识别进行研究,主要借鉴了图像处理、目标检测和机器学习等领域的最新进展,并从以下几个方面具体展开工作。(1)由于自然场景中图像受光照不均匀、字符形式多样、遮挡、图像噪声和边缘检测算子的选择以及其他因素的影响,传统的SWT算法和MSER算法的性能受到很大限制,导致了文本检测结果中出现部分字符缺失,甚至是漏检、错检。针对上述算法的不足,提出了一种结合SWT和多通道光照均衡化MSER的文本检测算法。首先,对输入的图像做去噪和校正操作;随后,利用光照均衡化分别处理R、G、B三通道下的文本图像,将处理之后的结果再用MSER算法初步筛选文本区域;最后基于SWT算法,利用SVM分类器过滤掉伪字符区域得到最终的文本区域。实验结果表明,该算法能够有效的解决文本检测过程中的漏检问题。(2)传统的Faster R-CNN算法适用于如行人等比较常规的目标检测,对于文本检测时会忽略文字的特殊性,只关注字符的深度特征,忽略了文本字符中字符之间存在的上下文关系,造成文本检测效果不佳。针对该问题,本文在深入研究Faster RCNN算法的基础上,引入双向LSTM网络来提取字符的上下文信息。为使模型能够预测文本的几何坐标和文本倾斜角度,添加了文本角度信息用于在候选区域判断和位置回归。同时使用蒙特卡洛非极大值抑制方法,筛去多余的文本检测结果。最后通过实验验证了该方法对自然场景中任意方向文本检测的有效性。(3)不同于一般算法,将检测与识别分为两个部分独立处理,本文设计了一种基于CNN+BLSTM+CTC的端到端文本识别系统,将文本检测与文本识别结合在一起,同时输出检测结果和识别结果。本算法使用CNN和BLSTM作为编码器,连接CTC作为解码器来进行文本识别。实验表明,与传统的检测识别分开的方法相比,本文所提出识别方法在识别率和识别时间上均更具优势。