随着femtocell的大量部署,femtocell与macrocell形成的异构网络遭受的干扰复杂多变,用户对网络的QoS要求也越来越高,因此,抑制femtocell网络带来的干扰,保证用户时延、最低数据速率要求等QoS指标是亟需解决的重要问题。据此,本文基于Q-learning理论针对femtocell异构网络中保障用户QoS指标的子信道分配与功率控制方案做了深入研究。本文首先提出了基于Q-learning的子信道分配方案。该方案保证了时延敏感业务的QoS要求和抑质用户的最低数据速率要求。在进行子信道分配时,宏基站与家庭基站间存在信令交互,从而避免了家庭基站对宏基站的跨层干扰,并通过Q-learning算法加强了家庭基站的自组织性。在仿真中,分别在femtocell稀疏部署和密集部署场景中对所提子信道分配算法进行验证,证明了所提算法的有效性。其次,针对femtocell双层网络下行链路场景,提出了基于Q-learning的功率控制算法。在所提算法中,我们首先将连续功率离散化,然后建立基于Q-learning的功率控制框架,提出了基于布尔兹曼的权重滤波Q-learning功率控制算法。在学习过程中,每一个femtocell基站都分别作为一个智能体,通过定价的方式降低网络的跨层干扰,智能体的目标是使其有效容量最大化,从而保证了时延敏感业务的QoS指标。最后,对所提功率控制算法进行了仿真验证,相比于非合作博弈算法,所提算法在少量的效用损失的前提下获得了快速的收敛特性,定价因子的有效选取也很好的抑制了跨层干扰。