无线移动通信的发展和演进促使人们开发设计了许多不同的接入技术，比如无线蜂窝移动通信系统、全球微波互联接入（WiMax: WorldwideInteroperability for Microwave Access）和无线局域网（WLAN: WirelessLocal Area Networks）。所谓无线异构网络（Heterogeneous WirelessNetworks），就是存在多种不同的无线接入技术的网络。他连接这些不同类型网络，并提供统一的接入、无缝的覆盖和普遍的移动性支持。传统的无线通信系统基于点对多点的模式，由唯一的基站（BS：BaseStation）控制全部资源，控制用户接入，并向用户提供服务。维护和部署基站需要耗费大量的时间、人力和物力。由独立、自治的用户终端组成的分布式网络主要依赖竞争和合作获取资源，可以有效的减少部署维护的开销，同时组网也更加灵活。在分布式网络中，由于不存在统一的管理和调度核心，用户终端无法获得网络的全局信息或者用户在处理资源时表现出的自私性和利己性，即单方面的最大化自身的利益而不考虑全局，容易使得整个网络和其他用户的性能急剧恶化。因此，需要设计合理高效机制来激励用户之间的竞争和协作，来实现资源的公平优化分配。博弈论是研究决策主体之间竞争和合作行为的数学工具，是使用缜密的数学模型研究在冲突合作情况下决策主体实现最优化决策的理论。本文利用博弈论的基本原理，研究无线异构网络中自治节点以及基站之间的合作和竞争关系，设计激励用户参与竞争和合作的激励机制，实现资源在网络中的高效合理分配。在无线多播异构网络的小区和传输模式选择问题的研究中，本文以得到多播服务所需要获得的信道作为竞争资源，以维持该信道所需要的功率作为得到资源的代价，设计了用户与基站之间的拍卖算法实现功率分配。首先建立用户与基站之间的拍卖模型，设计多播信道和单播信道分别对应的价格参数，针对单播信道和多播信道在处理供不应求情况下的不同特性设计拍卖算法，最后根据拍卖的过程设计实现算法的通信协议。仿真结果表明，本文给出的功率分配方案能够快速收敛并且能够很好的应对用户的移动性。在蜂窝-车联网的下行数据传播问题研究中，本文考虑在不同的分割区域内各自选择信道条件出色的拥有蜂窝接口的车辆作为连接蜂窝网和车联网的移动网关，接着在车联网范围内设计联盟博弈框架，激励车辆节点选择可以最大化自身数据传输率的上一层节点，形成完整的树形数据传输结构。针对车辆的高移动性，本文给出了复杂度极低的联盟分离合并算法，使车辆能够根据不断变化的环境随时切换到信道条件最好的联盟。仿真结果表明，通过联盟博弈，车辆能够在线性时间内选择最优的联盟，最大化数据传输率。博弈论在无线异构网络中的应用仍有很多问题值得进一步研究。实际系统中，不仅是下行，上行数据传输也存在着节点的竞争和协作，因此有必要设计新的机制来激励这个场景下的节点。