如今移动设备与物联网设备收集了大量数据用于学习模型以改进用户体验,由于这些数据通常隐私敏感,或规模巨大,因而很难将这些数据全部发送到数据中心,随后联邦学习被提出来解决这一问题。联邦学习实现了跨设备场景下的协同学习,同时保持了客户端数据的本地存储从而保护隐私。但联邦学习也面临非独立同分布数据问题。为解决非独立同分布数据问题,各种方法被提出。但其中在模型准确度与收敛速度与的提升不足,或者违背了联邦学习的原本假设。此外,没有方法考虑在增量环境下的适用性。为此,本文研究了非独立同分布数据下的联邦学习方法。本文首先研究基于聚类算法的联邦多任务学习。在联邦多任务学习的基础上,该方法为小组而非个体客户端训练模型,从而消除了全体客户参与训练的限制。并且设计了客户端聚类策略确保本地数据分布相似的客户端被分到同一组,从而提高模型准确度。随后为各小组构造关系矩阵改善近端优化的效果,从而促进各小组间的互相学习。实验结果表明该方法相比其余方法在非独立同分布数据下达到了更高的准确度与更低的通信开销。本文进一步研究基于聚类算法的联邦增量学习。通过应用基于架构的增量学习,该方法解决了联邦学习在增量环境下的灾难性遗忘问题。并且借助层次聚类算法执行知识模型的扩展与构造,从而控制知识模型的数量。随后使用异步联邦优化方法改善收敛程度不同的知识模型间的近端优化的效果。实验结果表明该方法能同时克服非独立同分布数据与增量环境两大挑战。