随着各类移动业务的发展,移动网络流量快速增加。此外,随着物联网、体域网、车联网等的兴起,网络中的连接设备数量也极大增加。为了更好的满足业务增长服务需求,下一代移动通信网络技术（5G）被提出。根据设计目标,下一代无线网络将提供更高的速率,更低的端到端时延,更高的频谱效率及能量效率,更加多样化设备的互连,更高的连接数支持,以及更低的部署成本。要实现这一目标,在网络结构上将向密集化、异构化演进。随着网络节点的异构化、密集化,网络的部署、配置、优化、管理、维护的复杂程度将会呈指数型增长。在这一场景下,如何保证网络更高效的运营和维护成为了一个非常重要研究课题。传统基于人工的运维管理方式存在人员要求高、效率低下、响应时间长、成本高等问题,难以应对下一代网络技术特点对运营带来的挑战。解决这一问题的可能途径就是提升网络智能化水平,在充分发挥网络性能潜力的同时尽可能的减少人工干预。为此,自组织网络（Self-Organizing Network,SON）的概念被提出。自组织网络的主要目标是在网络内部提供智能,实现自配置、自优化、与自治愈功能,简化网络的协调,优化和配置程序,从而降低整体复杂性,投资成本与运营成本。在本文中,针对移动通信中的自组织网络的性能优化问题开展研究。具体来说,既考虑了网络正常运行状态时的优化问题（即自优化）,又考虑了网络异常状态时的优化问题（即自治愈）。具体研究内容、贡献如下:首先,研究了自组织网络的用户接入优化问题。用户接入问题就是无线终端选择接入某个服务基站的问题。用户接入可以看作无线资源管理的第一步,对于网络性能有着重要的影响,在实现负载均衡,控制干扰,提高频谱和能量效率等方面起着非常重要的作用。针对包含宏基站和全双工小基站的多层异构网络特点,提出了分离多接入机制,并基于演化博弈和强化学习设计了低复杂度自组织用户接入算法,用户可以根据当前的策略选择收益来进行策略调整,并最终达到均衡状态,实现了用户公平性。其次,在用户接入基站之后,进一步考虑了异构网络中的资源自组织优化分配问题。在多层异构网络中,未经协调的小基站的功率和频谱分配可能会对宏蜂窝以及其他小蜂窝造成严重干扰,因此资源分配和干扰管理是这种多层蜂窝无线网络中的关键问题。将小基站的信道和发射功率的自组织分配建模成一个演化博弈问题,并使用随机几何方法分析了不同策略下的平均性能作为博弈方的收益函数。通过将随机几何与演化博弈结合,实现了决策与网络性能交互影响的动态分析。此外,还提出了低复杂度的传输策略选择算法。最后,当出现故障或服务降级时,研究了自组织网络的自动故障检测和诊断问题,从而实现异常状态时的网络性能优化。当前关于网络故障诊断的研究目标都是试图达到较低的检测错误率,而忽略了不同检测错误造成的不同损失。针对这一问题,提出了基于代价敏感学习的网络故障检测框架,目的是将不同检测错误造成的总代价降到最低。其次,考虑到目前在网络故障诊断研究面临的缺少高质量数据的问题。采用主动学习的方法来减少需要的训练样本数量,从而有效降低高性能分类器的成本。