自然场景任意形态文本识别是计算机视觉和自然语言处理的交叉研究领域,是研究实物对象和语义关联的重要桥梁。过去的十几年,受限场景的文本识别问题已经基本解决,但在通用场景中,目前算法的识别率仍然有限。应用层面上,小规模的神经网络是主流模型,能够实现较高的响应速度,然而识别率较低。识别率先进的方法普遍使用并行注意机制进行视觉特征建模,然后引入语言信息弥补视觉信息的短板,但受限于语言模型的能力,语言信息没有得到充分使用。本文工作包括两方面内容:一是提出一个多任务多模型统一架构,从多任务的角度,以较小的推理速度和模型规模代价,提升常用模型识别率;二是提出一个任意错误敏感网络,通过重新设计的语言模型保证语言信息能够对视觉模型造成的任意类型错误纠正,充分利用语言信息,提升先进方法的识别率。多任务训练是计算机视觉领域增强模型能力的常用策略,但在场景文本识别领域此类研究有限。通过对目前惯用损失函数分析,我们发现文本图像中的字符串长度与各类型字符数量没有得到明确且有效地监督。因此,分别在主干网络中增加对应的两类任务引入缺失监督信息,同时在推理阶段只保留主干网络,保证原始模型的推理速度和规模。本文对常用场景文本识别算法归纳出一套通用的多任务多模型架构,分别基于位置信息和字符信息借助注意机制构建两个分支网络,充分挖掘图像的字符特征和位置特征并经过梯度增强主干网络。本文利用多任务架构对4种工业界常用的文本识别算法进行增强,在6类规则和非规则数据集上分别取得了更高的识别率,在平均识别率上都有超过2%的提升,实验证明多任务多模型架构能够在增强常用模型性能的同时避免速度和规模的损失。语言模型在场景文本识别中本质是一个纠错模块,能够利用在大规模语料库中得到的语言先验纠正视觉模块的错误预测。针对目前方法中语言模型只能纠正替换错误的问题,首先引入特殊的标识符号,将插入错误和删除错误转换为替换错误,在理论上保证了任意错误可纠正。其次,借助数据随机扰动和在注意机制中引入相对位置不变的特殊编码,解决了特殊符号引入带来的正负样本不均衡问题。针对视觉语言融合特征错位的问题,提出基于注意机制的语言视觉融合模型,避免了手动特征对齐,转而使用依赖位置信息和语义信息相关性的软对齐方式。本文还针对语言模型的测试提出与视觉模型互补的识别率和编辑距离指标,反映语言模型与视觉模型的互补性。本文使用提出的语言模型构建任意错误敏感网络,在6类基准数据集上能够修正任意类型错误,并且与同等规模和同等数据集训练的方法相比,达到先进水平。另外,基于注意机制的语言视觉融合模型在平均识别率上实现了0.7%的提升。实验证明本文提出的方法更充分地挖掘了场景文本图像的语言和视觉信息。