随着遥感技术的发展，遥感影像能表达的地物类别、位置、纹理、光谱等信息更加丰富。随着遥感对人们生活的影响越来越大，人们对在影像中挖掘大量信息的需求也日益增长。现有遥感技术一般局限于对遥感影像中某一类或某几类信息的提取，如场景类别信息、对象类别信息、对象位置信息、对象边界信息等，但不能实现对一幅遥感影像信息的完整提取。遥感影像的完整解译不仅包含遥感对象的识别也包含对象之间空间关系的识别，特别是当一幅遥感影像中存在有异物同谱现象时，空间关系能使遥感对象的解译更加精确。
　　相比于传统遥感对象识别方法，在场景分类任务中，深度学习通过卷积层和池化层提取更加抽象的特征，使特征对于图像的表达能力更强，并避免了规则对结果的干预，从而达到更高的分类精度且具有更好的普适性；在语义分割任务中，通过反卷积和上采样还原特征，实现了对图像像素级的分类，有效减少了遥感分割中存在的椒盐现象。然而，仅仅依赖现在的深度学习网络很难同时实现对遥感对象和它们之间空间关系的识别。为了解决这个问题，本文提出一个多尺度遥感影像解译网络——MSRIN。MSRIN的网络结构是基于一个全卷积神经网络（FCN），一个U-Net和一个基于关注区的长短期记忆网络（attention_based LSTM）的并行网络。MSRIN通过三个步骤识别遥感对象以及对象之间的空间关系：
　　（1）MSRIN定义了一种多尺度遥感影像标注策略并使用FCN和U-Net对一幅遥感影像进行不同尺度上的分割，这样可以在一幅遥感影像上建立两个尺度的等级关系。我们使用掩膜提取的方式，提取FCN和U-Net输出的分割图中包含的对象，从而确定对象的位置和边界。
　　（2）MSRIN使用一个attention_based LSTM，将VGG19提取的遥感影像特征和依据（1）中策略生成的参考标注语句同时作为输入，得到以自然语言方式生成的标注语句中包含有遥感对象的类别（类别名词）和对象之间的空间关系。
　　（3）本文设计了一个遥感对象识别和矫正机制，通过关注区权重矩阵建立类别名词和对象掩膜图的关系，将生成的标注语句的空间关系转化为对象之间的空间关系。换句话说，MSRIN从端到端的同时实现了遥感对象的语义分割和它们它们之间的空间关系的确定。
　　实验结果表明，矫正后，样本和掩膜图之间的匹配率提升了67.37个百分点，名词和掩膜图之间的匹配率提升了41.8个百分点。本文提出的MSRIN取得了显著的效果。