近年来,随着移动互联网与云计算技术的发展,移动用户、特别是室内用户对数据业务的需求呈现指数级增长。现有宏蜂窝网络面临的主要挑战已变成移动数据业务需求的剧增与稀缺的无线频谱资源之间的矛盾。为满足用户的业务需求,特别是室内业务需求,在宏蜂窝网络中部署低功率接入点可进一步拉近用户与其服务基站的距离,减小信号到达用户时的衰减,增强网络的有效覆盖、减少服务盲区,并为宏蜂窝网络分流数据业务负载,提高频谱资源利用效率。这些低功率的接入点,包括家庭基站(Femtocell Base Station, FBS)、中继站(Relay Station, RS)和微微基站(Picocell Bsae Station, PBS)等,与原有的宏基站共同构成了IMT-Advanced (IMT-A)异构无线网络(Heterogeneous Network, HetNet)。各类型低功率节点的组网方式与传统单层宏蜂窝网络不同,所以会带来同频干扰、移动性切换失败和物理层安全等一系列亟待解决的问题。针对以上热点问题,论文从干扰管理、资源分配、移动性管理、物理层安全等方面,对IMT-A正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)异构无线网络中的关键技术进行了深入研究,给出相应的优化算法,以期提高频谱效率和优化系统整体性能。本论文主要研究内容和创新点如下：1.异构双层网络中的干扰管理研究针对异构双层网络中的干扰问题,基于非合作博弈理论,提出了信道与功率控制的干扰管理策略。其中分布式干扰抑制策略综合考虑信道衰落特性和层间干扰等因素,将上行功率分配与信道分配建模为非合作博弈过程,其效用函数设置为家庭基站的容量,并在此基础上对由家庭用户造成的跨层干扰进行定价,以保护宏小区的无线传输链路。基于此非合作博弈模型给出了分布式的干扰感知子信道调度与功率分配策略。本算法不但能有效降低跨层干扰,提高系统吞吐量,而且复杂度较低,通过分布式的方式实现干扰管理适合家庭基站场景,同时合理的定价机制能够进一步保障层间公平。2.异构双层网络中的资源分配研究针对现有异构双层网络资源分配中极少考虑异质服务质量(Quality of Service, QoS)的问题,提出了支持用户异质QoS需求的联合子信道与功率分配机制。首先将用户分为时延敏感型用户和时延容忍型用户,在功率受限和跨层干扰受限的情况下最大化全体用户的传输速率,同时保证时延敏感型用户的最小数据速率要求,以达到改善其服务质量的目的。并进一步将此问题建模为非线性混合整数规划问题,为了有效的求解该问题,先通过时间共享因子将其转换为凸优化问题,采用拉格朗日对偶分解法将原问题分解为主问题和若干子问题,最后通过次梯度法分布式求解,得到近最优子信道与功率资源联合分配算法。由于近最优资源分配算法复杂度较高,提出一种低复杂度的子信道调度与功率分配分开进行的次优资源分配算法。所提近最优与次优资源分配算法不仅能有效抑制跨层干扰,提高双层网络的频谱效率,而且能有针对性的满足用户异质QoS需求。3.异构双层网络中的移动性管理研究针对异构双层网络中切换策略准确性不足、信令开销大、切换失败率与不必要切换率较高的问题,提出基于用户特征的切换算法和基于蚁群算法的移动鲁棒性优化策略。首先根据异构双层网络接入方式的不同给出家庭小区与宏小区之间的切换流程,综合考虑双层网络覆盖范围不对称、用户移动性特征不均匀的特点,设计了一种低复杂度切换优化算法；并进一步分析了基于X2接口的异构双层网络移动性增强架构,给出相应的切换流程,并对其信令开销进行建模评估；最后提出了异构双层网络中基于蚁群算法的移动鲁棒性优化策略。所提算法可以有效地降低切换引起的无线链路失败率和不必要切换数目,提高异构双层网络的切换性能。4.异构中继网络中的保密资源分配研究针对OFDMA双向中继网络中存在窃听者场景下的物理层安全问题,基于拉格朗日对偶法,提出子载波配对、子载波分配及功率分配的物理层安全容量最大化算法。首先在双向中继网络中将联合子载波配对、子载波分配和功率分配问题建模为一个混合整数规划问题,通过拉格朗日对偶法和内点法得到一个渐进最优解,并设计对应的资源分配算法。由于最优解的求解过程较为复杂,为减小复杂度,提出了一种固定其中二维资源分配,优化第三维资源分配的次优化算法。所提算法有效地提升了异构中继网络中的物理层安全容量。