聚类分析是数据挖掘的重要手段，其应用领域广泛，包括统计学、图像处理、医疗诊断、信息检索、生物学以及机器学习等。聚类算法应用于图像分割时能够获得较好的分割效果而得到广泛的关注和应用。图像分割是图像处理到图像分析理解的中间步骤，也是计算机视觉研究中由低级视觉到高级视觉的桥梁。获取良好的图像分割效果是后续图像分析、理解和识别顺利开展的基础。然而，随着现代电子成像设备的飞速发展，图像的像素规模迅速增长，图像的类型也趋于多样化，图像本身还存在很多固有的特殊性和不可预知的复杂性，图像分割的速度和质量也因实时性要求日益受到人们的关注，待处理的数字图像数据集过大时，图像分割的质量和速度总是相矛盾的，很多聚类分割算法的实现过程往往更加耗时，缺乏精度或不合实际，因此如何有效的应用聚类算法实现实时自动快速高质量的图像分割仍然是极其重要并尚待有效解决的问题。本文主要针对图像分割的上述问题以及一些聚类算法存在的高昂计算复杂度和巨大内存需求而难以应用于大规模图像数据集的分割处理中的问题展开研究和讨论。在此过程中，本文的主要创新体现在以下几方面：（1）针对传统Ncut谱聚类算法计算复杂度高的问题，本文提出基于形态学分水岭和Ncut的图像分割算法，融合二者的优点用于彩色图像分割，将二次分水岭运算分割后得到的区域视为图的节点，并利用彩色信息以及空间位置信息构造新的权值矩阵，结合区域颜色信息和位置信息重新构造的权值矩阵，对不同的分割图像无需手动设置参数，使权值矩阵的计算具有一定的自适应性。提出的算法与传统的Ncut算法相比，图像分割效果更好，分割效率也大幅度提升。（2）针对近邻传播聚类算法（affinity propagation，AP）存在运算时间长、空间复杂度高而难以应用于较大规模图像数据处理的问题，提出一种改进的近邻传播聚类的彩色图像分割算法MSAP，该算法首先用mean shift（MS）算法对输入彩色图像进行预分割，计算预分割后得到的区域内像素的均值作为整个区域的颜色值，计算区域间的颜色差值构成AP算法中的相似度矩阵，显然mean shift算法预分割后的区域数目远远小于图像本身的像素点数目，因此用分割得到的区域数目代替图像像素点数目，有效地减小了相似度矩阵的规模，大大地节省了算法的运算时间。通过大量实验验证了MSAP算法在处理能力和运算速度上明显优于AP算法，并且该算法在彩色图像分割中取得了较为满意的分割结果。（3）层次聚类算法（hierarchical clustering，HC）能够考虑全局信息获取高质量的聚类结果，但其计算复杂度高，运行时间较长，限制了该算法在大规模图像分割中的应用，因此本文提出一种基于mean shift算法和层次聚类的图像分割算法MSHC，并将其应用于彩色图像和医学图像的分割中，取得了较好的分割效果。（4）为了得到稳定、高质量的聚类结果，提出一种新的聚类算法，即根据数据点能量和的大小识别类代表点和类成员点，通过数据点间的竞争识别出最有能力成为类成员的数据点，并通过实验验证了提出算法的有效性。为了将该算法应用于大规模图像数据集的分割问题，进一步提出将其与均值漂移算法有效地结合并应用于大规模彩色图像数据的分割问题中，取得了较好的分割效果，且分割效率较高。（5）针对图像分割中传统谱聚类算法的计算复杂度高和存储需求大的问题，本文将余弦相似度引入到图像的谱聚类分割中，构造图像的余弦相似度矩阵，并将其作为图像谱分割的权值矩阵，提出一种基于Nystr m逼近策略的快速谱聚类算法，并通过实验验证了该算法的有效性。