非线性优化问题是对很多现实生活中的优化问题的近似描述，通过这种近似，我们得以用精确的数学语言给实际问题一个准确的解答。自从上个世纪80年代，神经网络的方法被引入到这个领域之后，人们渐渐意识到神经网络对于优化问题可以提供一种近乎完美的解决方案，因为它在很多方面几乎可以满足我们的所有需求。随着研究的深入，这个领域的科研人员取得了很多重要的研究成果并在现实中得到应用，近些年，递归神经网络在非线性优化问题中的应用更是进一步拉近了理论与应用的距离。在本文中将会求解两类非线性优化问题：第一类是带有线性等式约束条件的伪凸优化问题，我们从变分不等式的性质出发，构造了一个递归神经网络来解决这类优化问题；第二类是同时带有等式线性约束条件和不等式约束条件的凸优化问题，我们从优化问题的KKT条件出发，构造了一个解决这类优化问题的递归神经网络。接下来，我们证明构造的神经网络的平衡解和优化问题的最优解是等价的。我们构造了两个不同的Lyapunov函数，并通过分析它们的性质证明了构造的神经网络的平衡解在Lyapunov意义下是稳定的。而且，我们重新定义两个Lyapunov函数证明了神经网络从特定初始点出发的解总会收敛于优化问题的一个最优解。此外，对于第一类优化问题，我们证明了它在特定条件下的指数收敛性。通过几个例子，我们用数值计算的方法验证了神经网络的稳定性。