随着经济全球化的深入,各民族之间的文化交流日趋频繁,人们对于机器翻译的需求也不断增大。目前,基于深度学习的神经机器翻译因其优异的翻译性能,已经成为了机器翻译的主流方法并在工业界得到了大规模应用。然而,神经机器翻译属于数据驱动的技术,在训练过程中需要大量的平行句对来对模型参数进行优化。因此,很多低资源语向的机器翻译效果并不令人满意。本文的研究对象为零样本神经机器翻译。零样本机器翻译是指源语言与目标语言在训练过程中不存在平行句对。零样本机器翻译作为低资源机器翻译的一种特殊情况,更具挑战与前景。在本文中,我们尝试从拉近各源语言的语义空间的角度来提高零样本神经机器翻译质量。我们提出了一个基于跨语言预训练的零样本迁移算法框架,该框架的核心在于利用跨语言预训练方法将不同源语言映射到同一空间,从而实现语种的迁移。通过该统一框架,我们将零样本翻译问题转化为了跨语言预训练问题,而跨语言预训练模型的质量直接影响到了零样本的翻译质量。为了能够从不同种类型的训练语料中学习到跨语言知识,我们分别提出了基于单语语料的预训练、基于双语句对的预训练和基于双语词典的预训练方法。首先,我们分析了当前一些主流方法（基于迁移的神经机器翻译和多语言神经机器翻译）在零样本翻译上失效的原因,进而提出了一个两阶段的零样本迁移算法框架—先进行跨语言预训练再进行神经机器翻译训练。我们通过实验验证了该框架的有效性。其次,我们针对目前主流跨语言预训练方法不能有效地利用标注数据中监督信号的问题,提出了多种基于平行句对的双语跨语言预训练方法。从句义相等的角度出发,我们提出了基于语义不变性的约束、基于对比损失的约束和基于对抗损失的约束训练方法。从词级别对齐的角度出发,我们提出了块掩码机制、利用外部工具指导模型对齐和利用网络自适应对齐的方法,来迫使预训练模型输出更强的语言无关的向量特征。最后,针对某些极端低资源的孤立语系,我们提出了基于双语词典的跨语言预训练方法。该方法使用真实词典或推导出的双语词典来将单语语料中的词语进行替换,进行跨语言预训练。利用该方法得到的模型来初始化无监督翻译系统,能够大大提升无监督翻译系统的性能,从而提升这些孤立语系的翻译质量。