当前传统语音识别系统的搭建，依赖大量语种相关的数据资源，对于语音识别声学建模来说，就是需要依赖大量有文本标注的语音数据，来取得良好的识别效果。然而，全球近7000个语种中只有很少一部分语种可以提供大量所需数据资源。已有的语音识别系统往往针对使用人口众多的语种，其数据资源也相对容易获取，而对于一个新语种来说，获取充分的数据资源，往往是一件十分耗时耗力的工作。　　在全球化发展趋势下，出于政治、经济、文化的需求，为某个新语种搭建语音识别系统的需求日益增长，而依赖大量数据的传统建模方法就不适用于为诸多新语种进行声学建模，而需要探索新的旨在为任意目标新语种进行声学建模的方法。在本文中，研究了通过使用其它语种积累的大量语音数据，结合少量目标新语种的语音数据，共同为目标新语种进行声学建模的方法，称为跨语种声学模型建模技术，其中主要包括如下研究工作和创新点:　　1.以跨语种方式为目标新语种（日语）搭建了语音识别系统，给出了短时间内快速为目标新语种进行声学建模的流程。通过将其它语种大量的语音数据，分别在音素级别、模型级别进行多语种数据共享，然后使用少量的目标新语种数据进行自适应模型调整，可以快速、方便地为新语种进行声学建模，并且相比传统建模方法获得显著的识别效果改善。在本文以日语为目标新语种的实验中，在只使用5小时自采日语数据时，相比传统单语种HMM-DNN(Hidden Markov Model-Deep Neural Network)系统，最终降低了相对28.1％的字错误率。　　2.在音素级别的跨语种声学建模中，通过统一音素集将各语种数据在音素级别进行共享，然后使用传统的HMM-GMM(Hidden Markov Model-Gaussian Mixture Model)建模方法，训练得到单音素、三音素的多语种HMM-GMM模型。然后，在为目标新语种建模中，针对存在的单音素、三音素层面的音素不匹配问题:在单音素层面，我们基于国际音标集的发音特征进行了知识驱动地音素映射，将未出现音素映射到相近的其他语种音素，如此可以使用多语种bootstrapping技术完成目标新语种单音素HMM-GMM的初始化，在自采日语数据集上，获得相对5.8％的错误率降低;在三音素层面，我们使用目标语种数据对多语种数据构建的音素决策树进行自适应调整，使之更符合新语种中三音素的数据分布情况，从而获得更好的跨语种建模效果，相比传统的单语种HMM-GMM建模方法，在日语RWCP数据集上降低了相对11.4％的错误率。　　3.在模型级别的跨语种声学建模中，通过共享隐含层的多语种深度神经网络模型(shared-hidden-layer multilingual DNN，SHL-MDNN)，使用多语种数据共同训练特征非线性变换层，来学习各语种音素发音的共性，然后将共享的DNN隐含层参数，用于为目标新语种DNN做初始化，并使用少量目标语种数据进行参数调整，从而实现模型参数级别的跨语种声学建模。在本文基于SHL-MDNN的研究中，我们针对跨语种建模中常见的三音素状态训练数据分布不均的问题，提出了使用“概率采样”方法调整DNN训练数据分布;并针对目标新语种建模中，常见的数据缺乏标注的情况，进行了DNN半监督训练的研究。将SHL-MDNN、概率采样、半监督训练结合，使用5小时日语自采数据，相比传统的HMM-DNN系统，将字错误率从71.0％降低到51.0％，达到工程实用的效果。　　4.在为目标新语种进行语音识别系统搭建中，发音词典的构建是必不可缺的步骤，其极大影响最终的识别效果。发音词典不仅用于识别解码中，在声学模型的鉴别性训练中也需要。本文，我们通过发音模型对发音词典中各发音的发音概率进行建模，并将发音模型的训练融入到声学模型的鉴别性训练中，和声学模型一起迭代更新。使用发音模型中的发音概率信息，可以筛选词典中的候选发音来优化发音词典，还可以在解码识别中利用发音概率信息辅助解码，在日语自采数据集上，获得了相对1.1％的字错误率降低。