随着面向未来社会的新业务、新场景、新需求的不断涌现,移动通信系统面临着更高的要求与挑战,世界各国正在积极启动新一代移动通信的研究工作。目前,超大规模多输入多输出（MIMO,Multiple-Input Multiple-Output）、太赫兹通信、超密集组网等候选技术,实质仍是以更多天线、更高频谱、更密基站等“以规模换效益”的传统思路来满足未来需求,技术挑战性极高且面临着高成本和高能耗的问题,急需引入变革性技术,打破移动通信系统演进的固有思维范式。针对上述挑战,本论文将具有低成本、低能耗、高可靠等优势的智能超表面（RIS,Reconfigurable Intelligent Surface）技术应用于无线通信领域,利用其灵活调控电磁波的能力和多域编码功能,开展基于智能超表面的无线通信系统设计与信道特性研究。首先,面向智能超表面这一新兴无线硬件范式,聚焦其基本原理与编码功能,为研究智能超表面应用于无线通信系统打下坚实基础。在介绍智能超表面的可编程电磁特性设计方法和数字化表征方式后,围绕智能超表面的多域编码功能,从空域编码、时域编码和空时编码这三方面,阐明其灵活调控无线信号的强大能力。通过加载空域编码序列、时域编码序列和空时编码矩阵,智能超表面可对反射/透射无线信号进行方向图综合、波束成形、频谱调控、高效频率转换和空时频多域联合调控等功能,为后续研究基于智能超表面的新型无线通信系统提供技术支撑。其次,面向新型单通道发射机架构,设计并实现基于智能超表面发射机的单输入单输出（SISO,Single-Input Single-Output）无线通信系统。针对传统发射机架构应用于未来无线通信系统所面临的高硬件复杂度和高能耗的问题,利用智能超表面对无线信号灵活调控的能力,提出一种基于智能超表面的新型发射机架构,实现数字信息向射频载波的直接加载与调制。根据智能超表面的时域编码调相机理,从基于智能超表面的发射机设计、无线帧结构设计和接收机设计三方面,构建基于智能超表面发射机的SISO相移键控无线通信原型系统并进行空口传输实验,测量结果表明所设计的智能超表面发射机能够实现与传统发射机相当的误比特率性能。随后,面向新型多通道发射机架构,设计并实现基于智能超表面发射机的MIMO无线通信系统。利用智能超表面的空域编码功能,将智能超表面单通道发射机扩展为多通道发射机,多路比特流被分别映射为智能超表面不同电磁单元的编码序列,实现多路数字信息向射频载波的直接加载与调制。在智能超表面的相位相关幅度特性和相位调控离散量化特性的约束下,推导基于智能超表面发射机的MIMO传输系统模型,并设计基于智能超表面的高阶调制方案。在此基础上,实现基于智能超表面发射机的MIMO无线通信原型系统,验证所设计的新型硬件架构和传输方案的有效性。接着,面向智能超表面辅助的无线通信系统,提出其自由空间路径损耗模型并完成测量验证。建立智能超表面辅助无线通信系统的自由空间路径损耗通用模型,给出路径损耗与发射机/接收机至智能超表面中心距离、电磁单元几何尺寸、电磁单元数量以及辐射方向图之间的闭式关系。推导典型场景下智能超表面自由空间路径损耗特例模型,在智能超表面远场波束成形场景下,揭示其路径损耗与两段传输距离乘积平方成正比,与智能超表面总面积平方成反比。在智能超表面近场广播场景下,揭示其路径损耗与两段传输距离和的平方成正比,与智能超表面总面积无关。完成智能超表面辅助无线通信系统的路径损耗测量实验,不同频段和不同场景下的实测数据均验证了所提出的路径损耗模型。然后,面向智能超表面辅助的无线通信系统,探明其信道互易性特征。根据材料电磁张量恒等式与电磁互易性的关系,讨论智能超表面辅助的无线通信系统的信道互易性,指出常规设计和制造的智能超表面辅助的时分双工（TDD,Time Division Duplexing）无线通信系统依然具有信道互易性。设计用于测量智能超表面信道互易性的实验系统,使用两个常规且典型的智能超表面在不同配置下进行测量,验证其信道互易性。介绍三种实现非互易智能超表面从而打破信道互易性的方法,揭示使用非互易智能超表面可以人为构造非互易的TDD无线信道。最后,面向智能超表面辅助的无线通信系统,设计并实现基于智能超表面的感知定位功能。针对智能超表面只能被动反射而不能主动接收无线信号的硬件局限,设计其对反射信号进行调控的空时编码序列,将智能超表面的空域维度信息变换至频域,通过在接入点分析智能超表面反射来的频域信号,提出一种高效解析用户发射信号至智能超表面到达角的方法,根据几何关系进一步估计出用户位置。在此基础上,实现基于智能超表面的感知定位原型系统,验证所设计的新型感知定位方案的可行性,实验结果达到厘米级定位精度。