无线通信系统的干扰信号主要来自两方面:一是由于小区内空间复用引起的小区内用户间或者数据流间干扰;二是为了满足日益增加的数据业务需要而不断缩小小区覆盖范围而引起的小区间干扰。事实上，小区间干扰协调已成为未来无线通信系统的关键问题之一。特别是，基站间协同发送下行链路数据可以显著提升通信系统性能，尤其是对小区边缘用户性能提升更加明显。因此，本文以多点协作通信系统模型为研究对象，联合利用凸优化理论、非线性规划理论和矩阵分析理论提出了一些求解不同优化目标函数的多点协作算法;主要工作如下:　　针对单、总基站功率约束的多点协同下行链路传输系统，研究了最大化最小用户速率的上/下行链路间的对偶关系。基于对偶关系提出了求解虚拟上行链路最大最小化用户速率优化问题的交替迭代优化波束成形算法;同时，给出了所提算法的收敛性证明。利用该算法中优化波束的特征，进而提出了一种基于有限信息交换的分布式协同用户调度算法。仿真结果表明，相比已有的多小区下行协同波束成形算法，所提算法在最差用户速率性能以及能效归一化速率性能(RatePerEnergy)指标方面都具有明显优势。　　针对单、总功率约束的多点协作多输入单输出下行链路系统，研究了系统和速率最大化优化问题。首先利用上/下行链路对偶理论和凸近函数近似方法，将总功率约束的系统和最大化优化问题转化成近似加权逆信于噪比之和最小化优化问题;其次在给定波束矢量条件下利用几何规划优化方法优化发射功率;然后提出了一种复杂度低且有效的交替迭代多点协作波束成形和功率分配算法。最后，利用凸近函数近似方法进一步研究了单基站功率约束系统和速率最大化优化问题，并提出两种低复杂度迭代优化算法。相比于现有多点协作波束成形和功率分配算法，所提算法所需计算复杂度低、收敛速率快;而且所提算法所获得的最优解非常逼近穷举法的最优解;数值仿真结果也验证了所提算法的有效性。　　针对多小区多用户多输入单输出能效传输系统，研究了能效协同波束成形和功率分配优化问题。首先，将功率分配和波束成形问题描述成考虑基站的链路功耗的非凸分数形式的优化问题;然后，利用分数规划方法把所需优化的问题转化成两个函数相减的形式，进而设计出一种迭代优化求解算法;在每一次迭代求解中，提出了一种求解功率分配和波束成形的次优算法。最后，利用浮点运算理论和单调序列定理分析证明了所提算法的复杂度及收敛性。同时，数值仿真验证了所提算法的有效性，仿真表明:在低发射功率时，实现和速率最大化的算法同时也能实现能效最优;但在高发射功率时，实现和速率最大化的算法则不一定是实现能效最优。　　针对异构协作传输系统的网络能效优化问题，首次提出了一种每小区能效准则和相应的能效准则建立的能效优化问题。为了有效求解分数加权和形式的能效优化问题，首先将用户速率转换成多项式形式优化问题，然后把分数加权和能效优化问题转换成参数化多项式形式优化问题;然后提出了一种各优化量均有解析解的交替优化算法;最后分析了所提算法的复杂度、收敛性及实现方式。数值仿真结果表明在低信嗓比区域所提算法同时实现最优能效性能和最优和速率性能，然而在中高信噪比区域，为了保证加权能效和，所提算法在和速率性能上有所损失。　　以实现干扰协调性能增益与代价之间的平衡为目的，利用异构网络的层间干扰特性提出了一种基于区域用户分类的干扰协调方案。特别地，基于相对速率损失测试，异构网络服务区域被划分成中心区域用户和非中心用户;然后提出一种基于有限反馈及区域用户分类的小区间干扰协调机制;数值仿真表明基于区域用户分类的干扰协调机制能够明显改善系统性能的同时减少了信息反馈量及交换量。　　为减少多基站协作波束成形系统中基站间的信息交换量和用户信道信息反馈量，提出了一种联合利用有限反馈信道参数和信道空间相关矩阵估计信道矢量函数的方法;并基于所估计的信道矢量函数设计多基站协作波束成形算法，且进一步提出了一种扩展迫零波束成形算法。相比已有的多基站协作波束成形方案，所提算法能在反馈/回程开销和系统性能之间取得更合理的折衷，计算仿真验证了所提算法的有效性。