现代无线移动通信系统呈现出两个显著特点，一是宽带高速率，二是移动互联。这两个特点对无线通信技术提出了较高的要求，如区域干扰抑制，移动中的数据可靠传输，分布式/集中式信号处理等。协作通信技术是应对上述挑战的有效技术之一。研究表明，协作通信技术是提高频谱利用率，提高小区边界用户数据速率和提高网络整体数据速率的关键技术之一。协作通信系统中一般采用多输入多输出(Multiple Input Multiple Output, MIMO)传输，根据信道状态信息（Channel State Information, CSI），发射机可以采用优化预编码等信号处理技术，进一步提高系统的性能。但是在实际系统中，系统只能获得非理想的信道状态信息。在频分复用（Frequency-Division Duplex,FDD）系统中，通常是由接收端把量化后的信道状态信息或相应的预编码向量反馈给发射端，由于量化比特数是有限的，势必会引入量化误差。因此，深入研究预编码和反馈技术，具有重要的理论意义和实际应用价值，这也是目前学术界和产业界所关注的热点之一。目前常用的协作通信技术主要分为两类，中继协作通信技术和多点协作通信技术(Cooperative of Multi Point, CoMP)。本文在此基础上，主要研究以下三种技术：双向中继系统预编码技术、基于有限反馈的多用户双向中继系统预编码技术和多点协作通信系统反馈技术。在对双向中继系统预编码设计的研究中，本文以最小均方误差（Minimum Mean Squared Error, MMSE）为准则，联合设计了源端非线性预编码、中继端线性预编码和接收端均衡矩阵。与传统的源端采用线性预编码的设计方案相比，源端采用非线性预编码能更好的消除用户多流数据之间的干扰，进而得到更好的比特误码率(Bit Error Rate,BER)性能。本文将复杂的非凸优化问题，分解为三个较为简单的子问题，通过迭代算法来联合优化源端和中继的预编码。仿真结果表明，本文提出的源端采用非线性预编码的设计方案比源端采用线性预编码的设计方案有更好的比特误码率性能。在基于有限反馈的多用户双向中继预编码设计的研究中，本文考虑中继仅能获得前向信道的量化信道方向信息（Channel DirectionInformation，CDI），以最小均方误差为准则，研究了中继端的预编码设计，并充分考虑了CDI量化误差的影响，通过最小化给定量化CDI信息下的用户总MSE来实现鲁棒性设计。仿真结果表明，本文提出的鲁棒性方案可以比不考虑CDI量化误差的方案取得更好的比特误码率性能。在对多点协作通信系统反馈技术的研究中，本文主要研究了在联合传输(Joint Transmission，JT)模式下增加聚合CQI (Aggregate CQI)信息反馈和基站之间相位(co-phase)信息反馈对整个通信系统的性能和边界用户性能的影响。系统级仿真结果表明，额外反馈聚合CQI信息能使边界用户获得27.27%的吞吐量增益，而额外反馈基站之间相位信息则能使边界用户获得24.73%的吞吐量增益。协作通信可以有不同的方式，本文仅研究了中继协作通信和多点协作通信联合传输时的一些预编码和有限反馈技术。对于多点协作通信协作调度，协作波束成型等方式下的预编码与有限反馈设计还是有待研究的问题。