联邦学习（Federated Learning）作为一种新兴的分布式机器学习范式,可以联合不同的组织或用户共同训练机器学习模型。具体来说,在保证整个训练过程数据一直保留在本地不被泄露的前提下,通过中央服务器协调大量客户端（例如手机、电脑和运动手环等）共同训练得到一个最优全局模型,在保护数据隐私的同时打破了数据之间的壁垒,以此来解决数据孤岛问题。不同于传统的分布式机器学习方法,联邦学习面临诸多严峻的挑战。首先面临数据异构性挑战,即不同客户端之间存在的数据类型以及数据量不平衡的问题,也称数据的非独立同分布（Non-IID）问题;其次是系统异构性挑战,即不同客户端之间由于CPU、GPU、ISP、电池以及网络连接等硬件的差异所导致的本地计算能力严重不均衡的问题。异构性挑战一直是阻碍联邦学习发展的瓶颈问题,因此本文的研究工作主要针对联邦学习中数据异构性和系统异构性展开,基于近邻优化的方法设计更加高效的联邦学习算法,以提高联邦学习的稳定性和鲁棒性。首先,针对由于数据异构性和系统异构性导致的全局模型收敛速度慢甚至无法收敛的问题,本文提出基于隐式随机梯度下降优化的联邦学习算法。在本地模型更新阶段,使用近邻优化算法约束本地模型更新。在全局模型聚合阶段,通过隐式随机梯度下降的方式直接对全局模型参数进行优化,能够使全局模型参数实现更加高效和稳定的更新,从而加快全局模型的收敛速度。其次,针对由于异构性导致大规模联邦学习本地计算、通信和存储效率上不平衡的问题,本文提出基于微批量随机近似点优化的联邦学习算法。主要是在本地模型更新阶段进行优化,首先进行微批量随机采样,然后再利用微批量数据进行损失计算,最后再利用近邻优化算法约束本地模型参数更新。这样就可以使每个客户端节点的计算复杂度更加均衡,提高本地计算效率。