本文主要研究了向量二层规划问题和含向量变分不等式约束的优化问题的罚函数方法。首先介绍二层规划问题、均衡约束数学规划问题和约束优化问题罚函数方法的国内外研究现状，然后阐述本文的主要工作，介绍与本文研究内容相关的定义、概念和性质。针对上层为标量优化下层为多目标优化的非线性二层规划问题，我们指出通过定义一个可以判断下层问题的可行解是否为其有效解的函数，并把它附加到上层问题的目标函数当中，可以建立原问题的罚问题。我们给出了求原问题算法的具体步骤并研究了其收敛性。针对含弱向量变分不等式约束的优化问题，通过引入适当的间隙函数，我们构造了含参弱向量变分不等式约束优化问题的罚问题，并研究了罚问题解的性质。给出了通过罚问题求解原问题的算法，证明了算法的收敛性。在一定条件下，多目标优化问题的解与向量变分不等式问题的解等价。在适当的假设条件下，我们将上述结果应用到了向量二层规划的情形。最后，总结本文的内容，并提出一些今后准备思考的问题。