本文主要研究稀疏优化问题中非凸非利普希兹正则化模型的算法设计、算法收敛性分析以及算法的收敛速率。已有研究表明在稀疏优化问题中非凸正则化模型比凸正则化模型更有优势,例如在同样观测数据下非凸正则化模型能得到更稀疏地解。然而非凸正则化模型的算法设计和收敛性分析也更加困难。近些年来,关于KL性质的研究使得部分非凸优化算法的收敛性和收敛速率的建立具有了可行性。本论文中,我们的贡献主要是第二章和第三章中的两个工作:在第二章中,我们考虑基于小波框架的图像重建问题中p（0＜p＜1）正则化合成模型,该模型为非凸非利普希兹正则化模型。论文[1]中提出了求解该模型的Isoft算法,该算法形式简单且高效,在图像重建问题中有很好地表现,但是该论文中没有证明算法的收敛性。在本文中,为了更容易地分析算法的收敛性,我们首先将Isoft算法等价地表述为ISSAFL算法,然后利用Nesterov加速法在ISSAFL算法的基础上提出了一个新算法——AISSAFL算法。进一步地,我们分析了新算法的收敛性,ISSAFL（Isoft）算法的收敛性分析作为新算法收敛性分析的一种特殊情况也得到了证明。具体来说,我们利用KL性质证明了迭代序列收敛到原始目标函数的一个稳定点。我们将新算法应用到了图像去模糊问题和CT图像重建问题上,AISSAFL算法与其他算法相比,在达到相同精度时运算速度上有很大优势。在第三章中,我们考虑非重叠群稀疏优化问题,我们对该问题的一类非凸非利普希兹模型提出了一个新的求解算法——AIS~3算法。非凸非利普希兹模型的下界理论蕴含了一个群支撑集收缩地策略,因此在算法设计中,我们用支撑集收缩策略来克服模型的非利普希兹性,该策略还可以使问题的规模不断减小;实际计算中,考虑到计算机的有限字长,并且为了避免算法的线性化项中出现极大的线性化权重,我们在算法中添加了阈值操作;进一步地,我们用Nesterov加速法对算法加速。我们给出了AIS~3算法的收敛性分析和算法的收敛速率。数值实验表明在达到相同精度时该算法在运算速度上优于其他算法。