随着智能移动设备和多种网络服务的爆炸式增长,数据流量呈指数性增加,现有移动通信系统在覆盖能力、传输速率和连接数量等方面已不能满足需求。异构网络是解决上述问题的关键技术之一,其核心思想是通过在宏基站覆盖范围内部署低功率小基站的组网方式,增强网络覆盖的灵活性,提高频谱资源在空间的利用率,降低宏基站的连接负载。然而,异构网络的部署,对运营商来说是一个巨大的挑战。首先,小基站部署数量庞大,建设成本和运营成本高,在“提速降费”的背景下,运营商难以承担巨额的支出;其次,现有运营商的网络基础设施已经很成熟,很难开辟新的空间部署大量小基站,而私人区域一般得不到部署小基站的授权。针对运营商部署异构网络成本高和取址困难的问题,本文提出了基于群智模式的异构网络组网方式,并借助博弈论等数学工具,对新的组网方式进行了理论分析和性能优化,为缓解运营商部署异构网络的压力提供可行的技术途径。本文的创新点和主要研究内容如下:(1)首先,提出了基于群智模式的异构网络组网方式,运营商通过设定合理的激励机制,让拥有小基站的第三方服务提供者参与到异构网络小基站的建设和运营中来,从而缓解了运营商的部署压力。以中继两跳网络模型为例给出了的新型组网方式的工作流程;(2)针对单运营商场景下的中继两跳网络,分析了其组网模式的可行性及性能优化的有效方案。利用斯塔克尔伯格博弈和非合作博弈建立了运营商和第三方服务提供者之间的博弈模型,在理论上证明了斯塔克尔伯格博弈均衡和第三方服务提供者非合作博弈过程中的纳什均衡的存在性和唯一性,并通过仿真实验验证了提出的组网方式的可行性;(3)为进一步扩大提出的异构网络组网方式的普适性,对多运营商场景下基于群智模式的中继两跳网络开展了研究。分析了运营商之间、第三方服务提供者之间的非合作博弈,以及当各自内部竞争存在时运营商主体和第三方服务提供者主体之间的复杂博弈过程。证明了不同转发功率分配策略和不同转发报酬策略下,非合作博弈过程纳什均衡的存在性和唯一性。并针对运营商和第三方服务提供者内部均存在非合作博弈时的博弈过程,提出了一种求解纳什均衡解的迭代算法。仿真结果不仅验证了组网方式在多运营商环境下的可行性,并进一步分析了信道条件以及第三方服务提供者运营成本对博弈过程的影响,为运营商选择合作伙伴提出了合理的建议。