遥感影像作为人类现代科技的重大成果，在人类社会的工业、农业、政治、经济、军事等领域的决策过程中都扮演了非常重要的角色。然而，随着高分辨率遥感卫星的不断升空，目前的遥感影像以每天TB级的速度不断增长。面对浩如烟海的遥感影像数据，依靠传统的、人工判读的方法从遥感影像中提取有用信息已经变得不再可行。如何利用计算机自动或者半自动的对遥感影像进行理解，成为了测绘、决策、计算机视觉等领域一个炙手可热的研究课题。图像理解这一试图将图像中包含的目标和场景解释为一系列有意义的，人们可理解的实体的研究，与遥感影像的解译不谋而合。本文以图像理解的理论和方法为指导，结合遥感影像，特别是高分辨率遥感影像的特点，针对人们普遍关心的遥感影像中的建筑区域的目标识别和场景理解问题，展开了遥感影像建筑区域的分割、建筑目标的提取、建筑目标的识别、建筑区域的分类以及建筑区域的理解等几个方面的研究，以期达成对遥感影像建筑区域中的目标进行识别并对有这些目标构成的场景进行理解的目标。论文的研究工作及贡献主要包括以下几个方面：在高分辨率遥感影像建筑区域的分割研究中，在阐述图像中的上下文信息在图像分割中重要性，并讨论CRF利用上下文信息的能力后，通过修改该CRF中的势函数，提出了一种改进的，面向遥感影像建筑区域分割的CRF模型。由于CRF模型同时具有融合多特征进行分割的能力，在对遥感影像建筑区域的特点进行分析后，提出将多尺度的纹理特征和梯度模、梯度方向的尺度内及尺度间的多种特征引入到CRF模型中，更好地完成遥感影像建筑区域的分割任务。提出的模型除了能够很好的利用标记图像中的上下文信息外，还能很好的利用观测图像中各个层次、各种形式的上下文信息，且在针对性提取的特征的帮助下产生了比传统的分割算法更为准确的分割结果。在遥感影像建筑物目标检测和提取的研究中，提出了一种能够产生闭合曲线目标提取结果的多先验形状约束的水平集方法。为了解决传统水平集方法在进行目标提取时由于图像低层信息的缺失造成的提取异常问题，提出通过构建建筑物的先验形状库，并将多个先验形状竞争模型引入水平集方法中，在标记函数的指导下，利用先验形状能量来约束曲线的演化，完成建筑物目标的检测和提取，且先验形状的引入也保证了最终提取的结果为有意义的逻辑实体。而标记函数的引入，则加强了先验形状与待提取目标之间的匹配关系。同时提出的模型具有先验形状的旋转、缩放和平移不变性。目标的表示与描述是目标识别的前提和基础。针对遥感影像建筑物目标，特别是典型目标的识别问题，提出了一种局部描述算法规格化像素点分布直方图局部描述子。利用前文目标提取获得的目标边缘，将目标边缘上每一像素点依次作为坐标原点构建“对数-极坐标”坐标系，并规格化所有像素点的像素值，利用当前坐标原点以外的目标边缘上像素点的分布来构建局部描述子。并在此基础上对图像中的待识别目标利用提出的描述算法进行描述后与模板库中的典型目标进行匹配，匹配时采取分步匹配的策略，在提高匹配效果的同时，降低计算复杂度。若匹配结果高于某一阈值则待识别目标继承模板库中目标的属性和概念，完成目标识别。提出的算法在降低计算复杂度的前提下，在多种变换图像中取得了类似或优于SIFT方法的性能。针对遥感影像的目标区域的分类问题，提出了一种利用图像特征空间信息的核函数层次对数极坐标匹配核，来对遥感图像中的建筑区域进行分类。首先对图像提取特征，并将特征映射到已聚类好的“码本”中，量化为有限个类别。将图像由粗到细地划分为多个层次的对数极坐标系下的“子区域（单元格）”。通过比对落入同一层次、同一“子区域（单元格）”的每类特征的直方图交集，建立加权的多尺度的直方图，将多个特征多尺度直方图合并得到最终的核函数，利用“一对多”的SVM完成最后的分类。提出的方法没有构建显式的目标模型，而是通过图像中全局的上下文关系间接地表示了要分类的对象，且提出的方法在一定程度上利用了被传统的基于特征包的方法忽略的特征间的空间关系来构建更为鲁棒的核函数，取得了较好的分类结果。为了对遥感影像中的建筑物区域所展现的场景进行理解，提出了一种面向建筑区域理解的基于城市实体区域空间配置和建筑实体类局部语义关系的语义贝叶斯网络模型（SBN），在对常见的城市实体类和城市实体区域的概念、组成及空间配置进行总结后，将城市实体区域中建筑实体类的局部语义以及其空间配置关系在统一的概率框架进行了描述。通过建筑实体类在城市实体区域中出现的概率表示城市实体区域的局部语义信息；通过确定具有代表性的建筑实体类及其邻域，近似的表示城市实体区域的空间配置信息；通过训练图像学习贝叶斯网络的参数，随后利用贝叶斯网络的推理能力对测试图像进行概率分类，即通过对一幅城市实体区域影像属于何种类型的概率判断，完成了遥感影像中城市实体区域的理解。实验结果表明，在采用同样的区域特征的前提下，较传统场景分类方法有着更好的分类性能，能够满足遥感影像中的城市实体区域的理解需求。