为了求如下约束最优问题：

$\underset{x}{min}f(x)\ \ s.t. g(x)\leq0 \ \ (1)$

引入广义拉格朗日函数：

$L(x,\lambda) = f(x) +\lambda g(x)\ \ \lambda\geq0 \ \ (2)$

先需要证明：

$\underset{x}{min}f(x) \ \ s.t. \ \ g(x)\leq0 \Leftrightarrow \underset{x}{min}\ \underset{\lambda:\lambda\geq0}{max}L(x,\lambda) \ \ (4)$

网上有的博文对（4）式的证明不容易看懂，我证明如下：

首先将 $\max_{\lambda :\lambda \geq 0}{L(x,\lambda )}$ 记作函数 $P(x)$ 。

1）如果 $g(x)> 0$ ，由于 $\lambda$ 可以取任意大，因此这时函数 $P(x)$ 不可能取得最小值。因此函数 $P(x)$ 只有在 $g(x)\leq 0$ 时才可能取得最小值。

2）如果 $g(x)\leq 0$ ， $\max_{\lambda :\lambda \geq 0}{L(x,\lambda )}$ = $f(x)$ ，因此（4）式两边等价。