近些年随着互联网产业的发展,语音识别技术的应用越来越广泛。基于注意力机制的端到端语音识别模型（Attention-based Encoder-decoder End-to-end ASR model,AED）由于训练简单,效果比传统的语音识别模型更好,得到了大规模的应用,并且成为了学术界的研究重点。但是AED模型容易学习到语言偏见从而影响模型的识别准确率。因此需要消除AED模型中的语言偏见才能进一步提高系统性能。为了消除语言偏见,学术界提出了内部语言偏见估计算法（Internal Language Model Estimation）,其中效果最好的是微软提出的置零法。但是置零法只适用于部分比较旧的AED模型而且估计准确性较差。另外,置零法等内部语言偏见估计算法在融合的时候需要同时推理AED模型,语言偏见估计模型和外部语言模型三个模型,极大地增加了推理时所需的计算量和解码时间,限制了其在工业上的应用。针对以上两个问题,本文的主要研究内容和成果如下:（1）研究并且分析了置零法对语言偏见估计不准的原因,并在置零法的基础上提出了基于训练的语言偏见估计算法。该算法通过训练的方式找到AED模型中查询向量到内容向量的映射关系。通过将AED模型的注意力机制替换为训练得到的映射关系来估计语言偏见。实验证明,本文提出的算法适用于所有AED模型,并且估计准确率远高于置零法,可以进一步的降低语音识别系统的词错误率。在Librispeech测试集上与不进行语言模型融合相比,最高可以获得33%的相对此错误率降低。（2）通过在整个训练过程中持续利用本文提出的语言偏见估计算法对AED模型学习到的语言偏见进行监控,本文发现了语言偏见的形成的原因是训练初期AED模型的编码器没有编码声学信息的能力因此迫使AED解码器学习利用语言信息做出预测,从而导致AED的解码器学习到语言偏见。（3）为了减小推理是的计算量,本文提出了基于对抗训练的内部语言偏见消除算法。这种算法在训练的阶段就消除了语言偏见,所以在推理阶段不需要像普通语言偏见估计算法一样同时推理三个模型就可以获得较大的精度提升,极大地减少了推理时所需的计算量和解码时间。有利于其在工业上的应用。