条件约束下的最优化问题–拉格朗日乘数法与KKT条件

等式约束优化问题 (拉格朗日乘数定理)

$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g(x)=0 \end{gathered}$$
为方便分析，假设 $f$ 与 $g$ 是连续可导函数;构造Lagrange函数
$$L(x,\lambda )=f(x)+\lambda g(x)$$
计算 $L$ 对 $x$与 $\lambda$ 的偏导数并设为零，可得最优解的必要条件：
$$\begin{gathered} \frac{dL}{dx}=f^{\prime }(x)+\lambda g^{\prime }(x)=0 \\ \frac{dL}{d\lambda }=g(x)=0 \end{gathered}$$

简单的例子

求此方程的最小值：
$$f(x,y)=x^{2}y$$
同时未知数满足约束
$$\begin{gathered} x^2+y^2=1 \\ g(x,y)=x^2+y^2-1=0 \end{gathered}$$
构造拉格朗日函数
$$\begin{gathered} L=f(x,y)+\lambda g(x,y)=x^{2}y+\lambda (x^2+y^2-1) \\ \{\begin{array}{l}\frac{\partial L}{\partial x}=2xy+2\lambda x=0\\ \frac{\partial L}{\partial y}=x^2+2\lambda y=0\\ \frac{\partial L}{\partial \lambda }=x^2+y^2-1=0\end{array}\Rightarrow \{\begin{array}{l}x=-\sqrt{\frac{2}{3}},x=\sqrt{\frac{2}{3}}\\ y=-\sqrt{\frac{1}{3}},y=-\sqrt{\frac{1}{3}}\\ \lambda =\sqrt{\frac{1}{3}},\lambda =\sqrt{\frac{1}{3}}\end{array} \end{gathered}$$

不等式约束优化问题 (KKT条件)

$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g(x)\le 0 \end{gathered}$$
约束不等式$g(x)\le 0$称为原始可行性(primal feasibility)，据此我们定义可行域(feasible region) K = { x ∈ R n ∣ g ( x ) ≤ 0 } K=\{x\in R^n|g(x)\leq 0\} K={x∈Rn∣g(x)≤0} 。假设 $x^{\ast }$为满足约束条件的最佳解，分开两种情况讨论：

1. $g(x)<0$最佳解位于$K$的内部，称为内部解(interior solution)，这时约束条件是无效的(inactive)；
2. $g(x)=0$最佳解落在$K$的边界，称为边界解(boundary solution)，此时约束条件是有效的(active)。

这两种情况的最佳解具有不同的必要条件。

1. 内部解：在约束条件无效的情形下，$g(x)$不起作用，约束优化问题退化为无约束优化问题，因此驻点$x^{\ast }$满足$f^{\prime }=0且\lambda =0$(因为$g(x)<0且\lambda \ne 0$，那么$L$的最优就不是$f$的最优)
2. 边界解：在约束条件有效的情形下，约束不等式变成等式$g(x)=0$，这与前述Lagrange乘数法的情况相同。我们可以证明驻点$x^{\ast }$发生于 ▽ f ∈ s p a n { ▽ g } ( ▽ g 张成的空间 ) \triangledown f\in span\{\triangledown g\}(\triangledown g张成的空间) ▽f∈span{▽g}(▽g张成的空间);换句话说，存在 $\lambda$ 使得$▽f=-\lambda ▽g$ ，但这里 的正负号是有其意义的。因为我们希望最小化$f$，梯度$▽f$ (函数$f$ 在点$x$ 的最陡上升方向)应该指向可行域 $K$ 的内部(因为你的最优解最小值是在边界取得的)，但$▽g$ 指向 $K$的外部(即 $g(x)>0$的区域，因为你的约束是小于等于0)，因此 ，称为对偶可行性(dual feasibility)。

因此，不论是内部解或边界解，$\lambda ▽g=0$ 恒成立，称为互补松弛性(complementary slackness)。整合上述两种情况，最佳解的必要条件包括Lagrangian函数$L(x,\lambda )$ 的定常方程式、原始可行性、对偶可行性，以及互补松弛性：
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g(x)\le 0 \\ L=f(x)+\lambda g(x) \\ \{\begin{array}{l}\frac{\partial L}{\partial x}=▽f+\lambda ▽g=0\\ g(x)\le 0\\ \lambda \ge 0\\ \lambda g(x)=0\end{array} \end{gathered}$$
这些条件合称为Karush-Kuhn-Tucker (KKT)条件。如果我们要最大化 $f(x)$ 且受限于$g(x)\le 0$ ，那么对偶可行性要改成 $\lambda \le 0$ 。

上面结果可推广至多个约束等式与约束不等式的情况。

考虑标准约束优化问题(或称非线性规划)：
$$\begin{gathered} \underset{x}{\min }f(x) \\ \begin{array}{rl}s.t.& g_j(x)=0,j=1,\dots ,m\\ & h_k(x)\le 0,k=1,\dots ,p\end{array} \end{gathered}$$
构造Lagrangian函数
L ( x , { λ j } , { μ k } ) = f ( x ) + ∑ j = 1 m λ j g j ( x ) + ∑ k = 1 p μ k h k ( x ) L(x,\{\lambda_j\},\{\mu_k\}) = f(x) + \sum_{j=1}^m\lambda_jg_j(x) + \sum_{k=1}^p \mu_kh_k(x) L(x,{λj​},{μk​})=f(x)+j=1∑m​λj​gj​(x)+k=1∑p​μk​hk​(x)
KKT条件为：
$$\{\begin{array}{l}{▽}_{x}L=0\\ g_j(x)=0,j=1,\dots ,m\\ h_k(x)\le 0\\ {\mu }_k\ge 0\\ {\mu }_k{h}_k(x)=0,k=1,\dots ,p\end{array}$$

简单的例子

$$\begin{gathered} \min x_1^2+x_2^2 \\ \begin{array}{rl}s.t.& x_1+x_2=1\\ & x_2\le a\end{array} \end{gathered}$$
构造拉格朗日函数
$$L=x_1^2+x_2^2+\lambda (1-x_1-x_2)+\mu (x_2-a)$$
利用KKT条件
$$\{\begin{array}{l}\frac{\partial L}{\partial x_i}=0,i=1,2\\ x_1+x_2=1\\ x_2-a\le 0\\ \mu \ge 0\\ \mu (x_2-a)=0\end{array}\Rightarrow \{\begin{array}{l}{x}_1=\frac{\mu }{4}+\frac{1}{2}\\ x_2=-\frac{\mu }{4}+\frac{1}{2}\\ -\frac{\mu }{4}+\frac{1}{2}\le a\end{array}$$
对$a$分类讨论

• 当$a\ge \frac{1}{2}$时，$\mu =0\Rightarrow x_2-a<0$不等式无效，$x_1^{\ast }=x_2^{\ast }=\frac{1}{2},f_{min}(x)=\frac{1}{2}$
• 当$a<\frac{1}{2}$时, 约束不等式有效,$x_2^{\ast }=a,x_1^{\ast }=1-a,f_{min}(x)=(1-a{)}^2+a^2$

本文参考-- 不等式约束的优化问题 https://zhuanlan.zhihu.com/p/146837325