近年来,随着人们对无线通信的要求越来越高,无线网络向着更大规模,更高频段发展;但同时带来的是网络成本的增加及设计复杂度的提高。而智能反射面（Intelligent Reflecting Surface,IRS）的兴起,使得以一种更加绿色的方式提升通信性能成为可能。首先,本文针对MIMO系统提出了IRS和发射端联合波束赋形及接收端空间调制方案。当考虑IRS反射单元的相位为连续值时,本文提出了一种交替优化算法同时实现发射端的有源波束赋形及IRS的无源波束赋形,此算法以一种低复杂性的方式解决了本文的非凸优化问题,达到了提高接收信噪比（Signal to Noise Ratio,SNR）的目的。针对连续相位值在实际中难以实现的问题,本文又考虑了IRS反射单元的相位为离散值的情况:首先,在交替优化的基础上引入量化机制,通过对相位的连续值量化获取离散值结果,提出了基于量化的波束赋形方案;另外,在交替优化的基础上引入穷举搜索机制,提出了“交替优化”+“穷举搜索”的联合波束赋形方案。在采用3bit相移器时,所提的离散相移方案可以实现与连续相移方案近似的性能。并且,提出了一种与联合波束赋形优化相适应的接收端检测算法——贪婪检测（Greedy Detector,GD）,仿真结果证明,此检测算法不仅复杂度低,而且可以实现与最大似然（Maximum Likelihood,ML）检测可比拟的性能。其次,本文研究了IRS辅助的多维索引调制方案,提出将反射单元组索引调制与收发端天线索引调制、传统QAM/PSK调制结合,实现多维索引调制。在此方案中,反射单元组索引调制将IRS上的反射单元分组,激活其中一部分反射单元组,其他组的反射单元则处于静默状态。反射单元组作为索引资源参与调制,进一步扩展了调制维度,提高了数据速率。另外,处于激活状态的反射单元同时进行波束赋形,并在广义空间调制（Generalized Spatial Modulation,GSM）系统中引入了一种基于余弦相似定理的无源波束赋形算法。通过仿真对比了收发端索引及反射单元组索引的检测性能,对比了接收端空间调制（Spatial Modulation,SM）与GSM的性能差别。结果表明,收端索引检测性能最好,是最适合进行索引调制的索引资源之一;接收端采用GSM在充分利用天线资源的同时可进一步提升误码率（Bit Error Rate,BER）性能。最后,本文提出了IRS作为接入点,将反射单元组索引调制与收端天线索引调制、传统QAM/PSK调制结合,实现三维索引调制的方案。此方案的特点在于系统不需要发射端,传统调制是通过IRS上的相位调节实现的。该方案同时发挥了IRS在调制方面及无源波束赋形方面的优势,使得系统的数据速率和误码率性能均得到提升。仿真结果表明,采用最大似然检测时,接收端广义空间调制的误码率性能优于空间调制的误码率性能。