在数学研究中，优化问题、变分不等式问题大多都是在集合是凸集的情况下来进行研究的.非凸问题作为一种新兴的研究领域，在优化理论和变分不等式方面的作用显得日益重要.在这篇文章中，研究非凸优化和非凸变分不等式问题.首先提出和研究了对于解决无约束非凸优化问题的算法，这个问题研究的目标函数是真下半连续，该目标函数可能是非凸函数，在目标函数具有Kurdyka-Loj asiewicz性质的条件下，证明了提出的渐近算法是收敛的.在一些适当的情形下，也证明了由算法生成的序列具有有限长.同时，通过Kurdyka指数相关的函数获得了收敛速度的结果.其次研究非凸变分不等式问题.变分不等式已经成为一种激发和研究出现在经济、财政、交通、网络和结构分析、弹性和优化等大多数问题中的动力的源头，可见Clarke[22]，Ferris[23].本文针对正则非凸混合变分不等式，利用辅助原理，提出了求解正则非凸混合变分不等式的迭代算法，并在算子是伪单调或部分混合松弛和强单调的条件下证明了算法的收敛性.对于广义非凸变分不等式组，本文利用广义非凸变分不等式组与不动点问题之间的等价性来构建一种新的扰动投影迭代算法，从而去寻找非凸变分不等式组的解，并证明了迭代算法的收敛性.