随着无线通信技术的飞速发展,如何进一步提高无线通信系统的信息传输速率、提升系统的安全可靠性以及扩大通信覆盖范围已成为无线通信领域的研究重点。协作中继技术可以在多用户通信网络中,通过每个单天线用户节点间的相互协作,共享彼此天线进行信息传输,从而形成一种虚拟的多输入多输出(Multiple Input Multiple Output,MIMO)系统,对抗信道衰落、扩大通信覆盖范围、提高信息传输速率。认知无线电技术允许次级用户(未经授权用户)在不干扰主用户(授权用户)正常通信的前提下,与主用户共享频谱资源,从而大幅提高系统的频谱利用率。近年来,将认知无线电技术与协作中继技术相结合,构建协作认知系统,进一步提高系统的频谱利用率,逐渐成为了协作通信领域的研究热点。另一方面,由于无线通信系统具有天然的开放特性和广播特性,当有窃听者存在时,就很难保证传输的安全性,这就给协作通信网络带来了安全威胁。近年来,通过利用无线信道的物理特征构建无线通信安全信道来保障信息安全传输的物理层安全技术,可以有效阻止窃听者通过非法接收获取信息,从而提升系统安全性能。因此,目前物理层安全技术已引起了无线通信领域研究者的广泛关注。然而,对于协作(认知)中继网络而言,由于计算的高复杂度,大多数研究都主要集中在单向协作(认知)网络的物理层安全问题,对双向协作(认知)网络研究相对较少。鉴于此,本论文的主要工作及贡献如下:1、研究了存在主用户干扰时的潜伏式双向认知协作中继传输。在保证主用户正常通信的情况下,设计了一种中继选择和功率分配的联合优化策略,提升次级用户信息传输性能。以最大化系统信道容量为目标,利用拉格朗日乘数法,推导出了高信噪比区域次级用户源节点和中继节点最优功率分配的解析解,同时确定了最优中继转发节点。通过仿真分析可以看出,该算法使认知系统的信道容量得到了有效提升。此外,也能看出主用户的干扰对认知协作网络的影响是比较大的,因此在研究此网络时,不能够将它忽略或视为高斯噪声处理。2、研究了存在窃听者时的双向协作中继网络的物理层安全传输。针对双向协作窃听网络,分别构建了放大转发协议(Amplify-and-Forward,AF)和译码转发协议(Decode-and-Forward,DF)下的安全传输模型,设计了一种中继选择和功率分配的联合优化策略。然而,通过分析得出,这是一个非凸优化的问题,其计算复杂度较高,很难得到解析解。为了解决这一问题,提出了一种改进型的粒子群优化(Particle Swarm Optimization,PSO)算法,以最大化系统保密速率为目标,得到了源节点和中继节点的最优功率分配方案,同时确定了最优中继转发节点。仿真结果表明所提算法增大了系统的安全保密性,显著的提升了系统的性能。3、研究了存在主用户干扰和窃听者窃听时的潜伏式双向认知中继网络的物理层安全传输。针对双向认知协作窃听网络,分别构建了基于AF协议和DF协议下的安全传输模型,设计了一种中继选择和功率分配的联合优化策略。通过分析可以看出,此复杂的非凸优化问题限制条件较多,难以保证PSO算法随机生成的初始解的可行性,从而造成求解困难。为此,提出了一种基于可变网格优化(Variable Mesh Optimization,VMO)和粒子群优化(PSO)的混合优化算法,先利用VMO算法获得一个初始的可行近似解;再以其为邻域中心创建一个邻域空间,在该邻域内产生PSO算法的初始种群;之后,利用PSO算法获得最优可行解。从而实现此双向认知协作中继网络的中继选择和功率分配联合优化,最大化认知系统的保密速率。仿真结果表明此算法提升了认知系统的安全性能。