计算机视觉一直是图像领域的研究热点,而自然场景图像中可能出现的路标和广告牌等包含文字信息的物体可以提高图像的上下文信息和语义信息,从而帮助更好地理解图像。经过科研人员的努力,许多优秀的自然场景文字识别方法被提出,这些方法逐渐从对简单规则文字的识别发展到对弯曲和倾斜等非规则文字的识别。但面对复杂的自然场景条件,如何提高文字识别算法的准确率,获得更好的识别效果仍然是计算机视觉领域的研究热点。本文提出了一种基于卷积循环神经网络(Convolutional Recurrent Neural Network,简称CRNN)的自然场景文字识别算法。该算法由多角度非规则文字识别模块和基于语义分割的注意力模块组成,结合CRNN和语义分割算法的优势,利用图像中多个角度的特征识别非规则文字。CRNN算法是一种准确率较高的规则文字识别算法,通过改进CRNN算法获得的多角度非规则文字识别模块能够对非规则文字进行识别。该模块首先从四个角度提取图像的特征序列和对应的字符位置可能性序列;然后通过编码器将四个角度特征序列进行融合编码,获得图像的文字特征序列;最后通过解码器得到图片的最终文字预测结果。为进一步提高文字识别的准确率,本文提出了基于语义分割的注意力模块,在多角度非规则文字识别模块前对图像进行处理。该模块使用语义分割算法对输入图像进行语义分割处理,并对图像中背景和噪声区域进行抑制,提高后续文字识别模块的准确率。为验证所提出的基于CRNN的自然场景文字识别算法的性能,本文分别在规则文字数据集和非规则文字数据集上进行测试。实验结果表明,所提出的多角度非规则文字识别模块在规则文字数据集SVT上准确率达到97.3%,在非规则文字数据集CUTE80上准确率达到65.1%。同时,相比现有的大多数算法,所提出的角度非规则文字识别模块减少了网络参数。结合基于语义分割的注意力模块,多角度文字识别模块在非规则文字数据集CUTE80上准确率达到66.2%。实验结果证明,本文所提出的基于CRNN的自然场景文字识别算法能够获得更好的自然场景文字识别效果。