随着下一代无线通信技术的发展，Femtocell的概念应运而生。Femtocell是一种可以改善室内覆盖的家庭基站，其主要致力于增加室内覆盖，改善系统性能，减少Macrocell网络通信负担。然而，在Femtocell与Macrocell共存的两层网络中存在同信道干扰问题，这会降低系统性能。在Macrocell与Femtocell组成的两层网络中，层间干扰限制了网络容量。本文分析了下行链路中对Femtocell基站发射功率的控制，给出了基于机器学习中的Q学习的分布式功率控制算法，并且对比了独立学习与合作学习对系统容量效率以及系统公平性的影响，在此基础上对回报函数以及动作选择方法做出了改进，使得在保证Macrocell与Femtocell用户都正常通信的情况下，Macrocell系统与总的Femtocell容量效率得到了提高，同时提高了Femtocell系统的公平性。本文通过Matlab仿真了一个Macrocell系统与多个Femtocell系统共存的情景，分析了各基站以及用户之间的干扰，以及对Femtocell基站发射功率控制的原则，并验证了本文所给出的改进回报函数的方法以及改进动作选择原则的方法对系统容量效率以及系统公平性的有效改善。