多输入多输出(MIMO，Multiple-Input Multiple-Output)无线通信系统由于采用多天线技术，在相同带宽和相同发送功率条件下能获得更大的系统容量，所以近年来一直受到学术界和工业界的广泛关注。作为一种可实现的技术，线性预编码可以有效发掘MIMO系统的分集增益和复用增益，目前越来越受到新一代无线通信系统的青睐。同时，新一代无线通信系统会采用自动重发请求(Automatic Repeat reQuest，ARQ)技术来进行差错控制，以提高无线链路的可靠性。因此线性预编码和ARQ重传的联合优化就成为一个新的研究热点。本论文分别针对单用户MIMO系统和多用户MIMO系统上行链路，联合设计ARQ重传时的线性预编码，提高系统性能。多用户调度也是新一代无线通信系统的核心技术之一。所以本论文还将研究多用户MIMO系统下行链路中的用户调度问题，提出新的用户选择算法，并给出相应的理论分析。 在实际的MIMO系统中，信道估计误差往往无法避免。在第二章，我们针对单用户MIMO系统中ARQ重传机制，采用跨层设计思想，研究非理想信道估计条件下的线性预编码。利用信息论，我们推导出当信道估计存在误差时MIMO ARQ系统容量的上界和下界。理论分析表明在高信噪比时，MIMOARQ系统容量受限于信道估计误差的大小。由于信道估计误差条件下MIMOARQ系统容量的精确表达式还未知，为简化处理，我们把推导得到的容量下界作为优化目标，提出次优的序贯线性预编码设计方案。仿真结果表明新方案可以获得良好的性能。 第三章从单用户MIMO系统转到多用户MIMO系统，研究MIMO上行链路中ARQ重传和线性预编码的联合优化。我们的目标是根据ARQ和MIMO的技术特点，把它们有效融合，充分发掘ARQ技术的重传分集和多用户MIMO系统的自由度，提高MIMO系统上行链路的性能。具体讲，系统根据所有用户的传输状况和信道信息联合设计每个用户的线性预编码器，然后通过无差错的理想信道通知给相应用户，同时基站对用户多次传输的信号进行联合检测。以最大化所有用户和容量(Sum Capacity)为准则，我们提出两种迭代算法来计算ARQ重传时的线性预编码矩阵。仿真结果表明我们提出的算法不仅能有效提高系统的和容量，而且能提高每个用户的最大传输速率。 从第四章开始，我们关注MIMO下行链路中的多用户调度。针对采用块对角化算法的MIMO下行链路，我们以最大化系统和容量为优化目标，研究低复杂度的多用户选择算法。传统的多用户选择算法直接挑选活动用户(ActiveUser)，而我们采用多用户特征子空间传输方案，它基于用户特征予信道的选择来间接地确定活动用户。我们利用矩阵Moore-Penrose广义逆的迭代计算方法来减少奇异值分解的运算次数，提出低复杂度的子信道选择算法。和对应的传统算法相比，新算法不仅可以大大降低计算复杂度，而且还能获得相同的性能。同时我们进一步证明，从标度定律(Scaling Law)的角度看，基于用户主特征子信道的传输方案可以获得渐进最优的性能。根据这一原理，我们把算法的搜索空间局限于用户的主特征子信道，提出低复杂度的多用户主特征子信道选择算法，以较小的性能损失，使算法的计算复杂度进一步降低。 对于实际系统，反馈负载越小越好。因此我们将研究如何低反馈量的多用户调度算法。在第五章，我们针对含有K个多天线同构用户(HomogeneousUser)的MIMO系统下行链路(其中基站配置M根发送天线)，提出一个简单的多用户调度算法：第一步，我们根据所有用户的等效信道增益确定L个备选用户；第二步，基站联合考虑L个备选用户信道的增益和方向，选择M个活动用户。因此这一算法只需要L个用户的完全信道信息以及其他用户的部分信道信息。与系统的最大和容量相比，基站采用污纸编码(Dirty Paper Coding)算法支持M个活动用户会带来一定的性能损失。我们通过顺序统计理论(OrderStatistics)推导出这一性能损失的渐进上界(Asymptotic Upper Bound)，并证明选取合适的备选用户数L可以使得这一性能误差趋于零。同时我们还分析了对活动用户采用迫零污纸编码算法或迫零波束成型算法时系统的渐进性能。