文字是信息交流及感知客观世界的重要载体,也是认知世界不可或缺的工具。自然场景图像中包含大量具有明确语义的文本信息,是描述与理解图像场景内容的关键线索。比如街景图像中的门牌号、广告牌、交通标志等。有效地识别这些文本信息是实现图像搜索、盲导航、自动驾驶、多语言翻译等计算机视觉任务的关键前提,也是这些计算机视觉任务能够落地务必要解决的重要问题。随着计算机视觉技术的发展,自然场景图像的文本识别已经成为最有应用前景的人工智能技术之一。不同于文档中的文本,自然场景图像中的文本通常具有复杂的背景且文本结构变化差异大,缺乏上下文信息。甚至有些图像因年代久远,或受光照、拍照技术等影响,其中的文字变模糊、文本字符退化严重。这些都给自然场景图像文本识别技术带来了困难和挑战。尽管近年来围绕自然场景中的文本识别已经有非常多的研究,也有一些优秀的算法被提出来解决各种应用问题。但这些方法尚存在不足,仍需持续完善与改进。自然场景图像中的文本识别主要包括三方面的工作:文本检测、语种识别和内容识别。文本检测和语种识别是内容识别的关键前提,其结果直接影响文本识别的准确率。本文围绕文本检测和语种识别开展了大量研究工作,主要研究工作可分为三个方面:（1）针对基于CNN区域回归的文本检测算法难以设定合适的Anchor和文本尺度变化大导致文本检测效果不理想的问题,本文提出了一个有效的Anchor-free文本检测方法。该方法首先使用ResNet 50作为主干网络,借鉴FCN和FPN的思想将多个尺度上的图像特征融合后在多个特征层上预测文本几何属性,以扩大感受野并检测更多大尺度文本;其次,针对文本中心区域和文本区域的检测,本文在设计损失函数时对图像特征层上的每个像素点引入权重以保证小尺度文本中的像素有较大的计算权重,从而能够检测出更多小尺度文本;最后,本文还利用像素语义分割的结果对检测出的文本框进行过滤,该过滤机制能够同时提升文本检测的准确率和召回率。在ICDAR 2015和MSRA-TD500数据集上的验证结果表明该方法具有优秀的文本检测性能。（2）本文分析发现传统的基于CNN的图像分类方法无法很好地进行自然场景图像语种识别,主要有以下两个原因:一是自然场景图像的任意宽高比给使用固定尺寸图像作为输入的传统CNN带来了很多困难;另外,一些高相似语种由于使用具有相同形状的字符子集而很容易被混淆。针对这两个问题,本文提出了一种利用Attention CNN和Score CNN挖掘具有鉴别力图像块的语种识别方法。从同一幅图像提取的多个尺寸相同的图像块被用作Score CNN和Attention CNN的输入,经Attention CNN和Score CNN判断是否为具有鉴别力的图像块的同时计算那些具有鉴别力的图像块有助于语种识别的权重和各语种的预测分数。最后融合所有具有鉴别力图像块的权重和分数得到最终的预测结果。该方法中的输入策略可以避免由自然场景图像中文本的任意宽高比引起的问题。并且,由Attention CNN和Score CNN挖掘出的具有鉴别力的图像块能有效辨别高相似语种的细微差别,有助于提升语种识别的准确率。在四个公共数据集上的实验结果表明该方法都有着良好的语种识别性能。（3）针对现有优秀的自然场景图像语种识别方法都是以图像块作为输入而导致图像的全局特征丢失并影响语种识别准确率的问题,本文提出了一个结合Local CNN和Global CNN进行自然场景图像语种识别的方法,并通过设计Local CNN和Global CNN的输入策略、微调策略和融合策略来提升语种识别的性能。Local CNN和Global CNN都是以Res Net 20为主干网络。该方法先基于图像的宽高比从图像中获取相同尺寸的图像块和分割图像,然后这些图像块和分割图像被分别用作Local CNN和Global CNN的输入,并使用不同迭代次数的模型来微调Local CNN中的多个Res Net网络。为了得到最终结果,Adaboost算法被用于将Local CNN和Global CNN的语种识别结果进行决策级融合。受益于这种策略,Local CNN充分挖掘图像的局部特征,有效地辨别高相似语种之间的细微差别,再结合Global CNN挖掘图像的全局特征,能够进一步提高语种识别的准确率。本文对自然场景图像文本检测与语种识别技术进行了研究和探讨,多个数据集的实验结果表明本文的研究成果具备优秀的性能,能够从复杂背景图像中检测出尺度变化较大的文本区域并识别该文本区域对应的语种类型。