在大数据时代,深度学习在图像分类、语音识别、机器翻译等多种任务上取得了令人满意的表现,这与数据的规模、质量息息相关,更多高质量的数据可以使深度神经网络模型的性能得到极大提升。但现实条件下,只有少数机构有能力收集大规模数据,大部分机构只能掌握少量数据。面对专业领域性强、隐私要求高的数据,机构间往往不愿共享数据,且由于受到数据隐私保护相关法律法规的监管,直接传输原始数据难以实施。为了打破机构间的数据壁垒,参数平均的分布式深度学习算法实现了方式简单的跨机构联合学习,但朴素的模型平均算法存在高额的通信开销、较差的模型表现、数据隐私的间接泄露等问题。本文针对以上问题开展研究,主要贡献如下:1.为了降低通信开销,本文设计实现了基于知识蒸馏的多模型压缩算法。由于模型平均算法的基础是传输模型参数,降低模型规模的大小可以直接提升算法通信效率。该算法以声音事件检测为目标任务,首先确定知识蒸馏过程的各教师模型（表现较优的复杂预训练模型）和学生模型（表现较差的紧凑模型）架构,然后针对任务特点,提出了可以传递时序相关信息的帧级蒸馏方法,最后改进方法为可融合多方经验知识的多模型蒸馏算法。实验结果表明,多模型蒸馏算法可以提供相对教师模型39—53倍的模型压缩比,同时提升学生模型的模型表现。2.为了提升数据隐私保护能力,本文设计实现了基于数据增强的联合学习算法。由于模型平均算法在训练过程中直接传输模型参数,造成了间接泄露数据隐私的隐患。该算法改变朴素模型平均算法训练流程,在本地模型训练前对训练数据进行Mixup混合增强,将经验误差最小化原则扩展为邻域误差最小化,通过改变原始数据分布的方法来提供数据隐私保护。实验结果表明,联合学习算法可以提升多种模型在图像分类、文本分类任务上的表现,且通过在人脸识别任务上进行模型反演攻击实验对比,证明算法可以提升模型对间接数据隐私攻击的防护程度。本文基于模型平均算法,研究了能够降低通信开销的模型压缩技术和提升数据隐私保护能力的联合学习算法,同时两种方法都可以提升模型表现,为跨机构广域网环境下分布式学习提供了可行方案。