近年来,随着无线通信技术的不断进步与发展,移动数据业务迅速普及。有数据显示超过60%的话音业务和80%的数据流量业务都发生在室内场所,而传统的Macrocell网络虽然具有覆盖范围比较大的优势,但是却在室内场所等热点区域覆盖问题上具有明显的不足。异构网络正是针对上述问题从网络架构方面提出的解决方案,通过引入Femtocell较好地提升了室内用户的服务质量和频谱资源利用率,但同时也产生了层间干扰和频繁越区切换等问题,而这将会导致较高的系统掉话率,严重干扰Macrocell用户(MUE)的正常通信。为此,本文采用协作通信技术寻求上述问题的解决方案,提升MUE上下行链路的通信质量。论文主要研究内容如下:首先,对Femtocell的引入原因和发展历程进行简单的阐述,并着重分析用户接入Femtocell接入点(FAP)的三种接入模式和部署Femtocell的重要性;对放大转发(AF)和译码转发(DF)两种协议通信协作进行详细的分析比较,并从仿真结果得出DF协议的中断概率性能优于AF协议;同时,构建Femtocell/Macrocell双层异构网络上下行链路的系统模型,在该模型的基础上分析MUE上下行链路。然后,对异构网络MUE的下行链路进行了研究。下行链路协作通常采用基站间协作方式,需要大量的共享信息,为避免这一问题,本文选用Femtocell用户(FUE)作为中继节点,提出了宏基站(MBS)与FUE的协作通信方式。同时,为了选择出合适的中继节点,提出了一种协作FUE的选择算法。该算法借鉴了软切换的思想,通过引入持续时间和设置信噪比门限值选择合适中继构建中继集合:中继候选集和中继入选集,继而获得性能稳定且对MUE有益的中继集合。理论分析和仿真结果表明基于FUE的协作方案确实提升了MUE下行链路误比特率和系统吞吐量性能。最后,对异构网络MUE的上行链路进行了研究。由于边缘MUE与MBS之间路径损耗比较严重,导致边缘MUE与MBS间的通信链路经常中断,为解决这一问题,本文选择FAP充当中继节点,提出MUE与FAP的协作方案,并分析了DF和直接转发两种转发方式下MUE性能。同时,在DF方式下还分析了两种情形:一种是考虑FUE空闲;另一种则考虑FUE也在通信,然后对MUE上行链路性能进行仿真实现,其结果表明采用FAP协作方案的MUE上行链路中断概率和误比特率性能要明显优于直接传输。