自然场景图像中的文本字符是描述和认知场景内容的关键线索,对场景视觉信息的表达和理解具有重要价值。由于场景图像中的文本字符存在于复杂的背景之中,拍摄视角的不同使得文本具有较大的几何变形,再加上存在光照变化、字符颜色不统一等,使用传统分割识别方法具有一定的局限性。本文对场景图像背景分离与字符识别的技术难点问题开展了深入的研究。鉴于文本区域的特殊性,颜色、纹理等全局特征的描述能力较弱,提出了使用SIFT和Affine-SIFT两种局部特征描述方式对图像进行特征抽取。由于使用以上两种方法得到的特征点数量太多,对后期处理的效率有很大影响,本文在SIFT算法中使用主方向与辅方向结合的特征挑选方法对特征点进行筛选,对Affine-SIFT算法采用图像自匹配的方法进行有效特征提取。由于图像不同,使得检测到的特征点数量也不同,无法直接通过特征点集评价图像间的相似程度,本文提出了一种基于随机投影的特征映射方法。该方法将图像的局部描述特征点作为输入,得到单个图像的特征矢量,保证了图像间相似性度量的可行性,与特征点匹配的方法相比,该方法效率更快。本文根据不同的数据集使用K-means和Affine propagation两种方法对图像进行聚类,并进行了对比实验。实验结果表明,本文方法可以对包含文字的自然场景图像有效地进行聚类,准确率能达到86.66%。