随着遥感卫星对地观测技术的发展,获取到的卫星遥感数据的空间分辨率越来越高,数据量也在爆发式增长。高分辨率遥感图像中存在的类内特征变化较大和类间差异趋于一致的问题,给遥感图像的语义分割任务带来一定的挑战。基于预训练的深度卷积特征提取网络与注意力机制的传统结合方式,虽然能够提取丰富的语义特征信息,提高网络的分割准确度,但是会给模型带来大量的参数,给模型的轻量化应用造成一定的困难。现有的通过减少模型参数量实现网络轻量化的方法主要从两个角度入手,一是使用现有的可用于移动端的轻量化网络作为模型的特征提取部分,然后再结合其它方式提高网络的特征提取能力;二是自主设计轻量化网络用于特征提取。虽然现有的两种方式都能够大幅度的压缩模型的参数量,但是这些模型往往会导致模型的分割性能明显减弱。如何在网络的分割性能与模型的复杂度（参数量角度）两方面进行选择成为了研究的重点。基于上述问题,本文设计了一个既能够维持模型分割性能又可以大幅度减少模型参数量的轻量化注意力增强网络。在该网络中,对预训练的深度卷积神经网络提取的不同阶段、不同层次的语义特征映射图,本文设计了多尺度特征融合轻量化模块对其进行融合。该模块不仅能够实现特征融合,同时还能够大幅度的降低模型的参数量。其次,本文在自注意力机制中引入位置信息编码弥补图像在深度卷积神经网络中造成的位置信息损失。最后,协方差信息的引入一定程度上能够对生成的注意力映射图进行部分校正,提高注意力机制的表达能力。为了验证模型的有效性,本文在国际摄影测量和遥感学会（International Journal of Photogrammetry and Remote Sensing,ISPRS）公布的Vaihingen和Potsdam数据集上分别进行了实验,与现有方法对比,本文所提出的模型取得了令人满意的结果。