好久不见的拉格朗日乘数法

空字符（公众号：月来客栈） 2020-06-18 09:33:20

122

原力计划

分类专栏：跟我一起机器学习

最后发布:2020-06-18 09:33:20首次发布:2020-06-18 09:33:20

本文链接：https://blog.csdn.net/The_lastest/article/details/106823571

版权

1 引例

我想大多数人对于朗格朗日乘数法的学习已经是好多年前的事情，其中的细节也自然是慢慢模糊了起来，但是对于它的作用我想几乎是不会忘记的，那就是用来求解条件极值。既然大多数人的记忆都停留在这个地方，那么我们就从这个开始重新拾起拉格朗日乘数法。下面就以一个例题来重温一下求解过程：

求解目标函数 $z = x y$ 在约束条件下 $x + y = 1$ 的条件极值。

解：作拉格朗日函数
$F(x,y,\lambda)=xy+\lambda(x+y-1)\tag 1$
由式子 $(1)$ 可得 $F$ 的驻点：
$\begin{aligned} F_x&=y+\lambda=0\\ F_y&=x+\lambda=0\\ F_{\lambda}&=x+y-1=0 \end{aligned}\tag 2$
解方程组 $(2)$ 便可以求得 $x,y,\lambda$ ：
$\implies x=\frac{1}{2};y=\frac{1}{2};\lambda=-\frac{1}{2}$
由此我们便可以知道，目标函数 $z = x y$ 在约束条件下 $x + y = 1$ 的条件极值为 $z=\frac{1}{2}\ast\frac{1}{2}=\frac{1}{4}$ 。那为什么可以通过这样的方法来求得条件极值呢？

2 什么是拉格朗日乘数法

在数学优化问题中，拉格朗日乘数法（Lagrange multipliers ）是一种用于求解等式约束条件下局部最小（最大）值的策略。它的基本思想是通过将含约束条件的优化问题转化为无约束条件下的优化问题，以便于得到各个未知变量的梯度，进而求得极值点[1]。因此，一句话就是拉格朗日乘数法是一种用来求解条件极值的工具。那么什么又是条件极值呢?

2.1 条件极值

所谓条件极值是指，在一定约束条件下（通常为方程）目标函数的极值就称为条件极值。

如图所示，函数 $z = f (x, y)$ 在其定义域上的极大值（也是最大值）为 $z=f(x_1,y_1)$ ；但如果此时对其施加一个约束条件 $\varphi(x,y)=0$ ，那这就等价的告诉函数 $z = f (x, y)$ 极值点同时还要满足约束条件。因此， $z = f (x, y)$ 在约束条件 $\varphi(x,y)=0$ 下的极值点只能在 $x_0,y_0)$ 处获得（因为此时的 $\varphi(x_0,y_0)=0$ ，而 $\varphi(x_1,y_1)\neq0$ 即不满足约束条件）。现在我们已经对条件极值有了一个直观上的理解，那么接下来要探究的就是怎么才能找到这个极值。

2.2 如何求解条件极值

我们知道在一元函数 $f (x)$ 中可以利用极值的必要条件来求解 $f (x)$ 的极值。一元函数极值的必要条件为：若 $f (x)$ 在 $x=x_0$ 处取得极值，且 $f^{\prime}(x_0)$ 存在，那么立即有 $f^{\prime}(x_0)=0$ 。也就是说，我们可以通过令 $f^{\prime}(x)=0$ 来求得极值点 $x_0$ 。那如果函数 $z = f (x, y)$ 在约束条件 $\varphi(x,y)=0$ 下取得了条件极值 $f(x_0,y_0)$ ，那么我们该怎么求解其极值点呢？换句话说条件极值的必要条件是什么呢？

设 $z_0=f(x_0,y_0)$ 是 $z = f (x, y)$ 在条件 $\varphi(x,y)=0$ 下的条件极值，同时等式 $\varphi(x,y)=0$ 确定了一个一元隐函数 $y = y (x)$ ；则此时有一元函数 $z = f (x, y (x))$ 将在 $x=x_0$ 处取得极值。

根据一元函数极值的必要条件有：
$\begin{aligned} \frac{dz}{dx}&=f_x\cdot1+f_y\cdot\frac{dy}{dx}=0 \\[1ex] \implies&f_x(x_0,y_0)+f_y(x_0,y_0)\cdot y'(x_0)=0 \\[1ex] \implies &y'(x_0)=-\frac{f_x(x_0,y_0)}{f_y(x_0,y_0)} \end{aligned}\tag 3$
同时，根据隐函数的求导公式可知：
$y'(x_0)=-\frac{\varphi_x(x_0,y_0)}{\varphi_y(x_0,y_0)}\tag 4$
由式子 $(3) (4)$ 可得：
$\frac{f_x(x_0,y_0)}{f_y(x_0,y_0)}=\frac{\varphi_x(x_0,y_0)}{\varphi_y(x_0,y_0)}\tag 5$
由 $(5)$ 可得：
$\frac{f_x(x_0,y_0)}{\varphi_x(x_0,y_0)}=\frac{f_y(x_0,y_0)}{\varphi_y(x_0,y_0)}\tag 6$
那么，此时我们便可以理解成 $\{f_x(x_0,y_0),f_y(x_0,y_0)\}//\{\varphi_x( x_0,y_0),\varphi_y( x_0,y_0)\}$ ，即目标函数和约束条件在取得条件极值处的梯度平行。由此可知，取得条件极值的必要条件为： $\Delta f(x_0,y_0)//\Delta \varphi(x_0,y_0)$ 。

由 $\Delta f(x_0,y_0)//\Delta \varphi(x_0,y_0)$ 可知：
$\begin{aligned} \exists \lambda_0,\text{使得}&\Delta f(x_0,y_0)=-\lambda_0\cdot\Delta \varphi(x_0,y_0) \\ \\ \implies&\Delta f(x_0,y_0)+\lambda_0\cdot\Delta \varphi(x_0,y_0) =\vec{0}\\ \\ \implies&\Delta \{f(x_0,y_0)+\lambda_0\cdot\varphi(x_0,y_0)\} =\vec{0}\\ \\ \implies&\Delta(f+\lambda_0\varphi)=\vec{0} \end{aligned}\tag 7$
进一步，如果我们令 $F(x,y,\lambda)=f(x,y)+\lambda\varphi(x,y)$ ，那么由 $(7)$ 可得 $\Delta F(x_0,y_0,\lambda_0)=\vec{0}$ ，即 $(x_0,y_0,\lambda_0)$ 是函数 $F(x,y,\lambda)$ 的驻点。因此，求 $f (x, y)$ 的条件极值就可以转换为求 $F(x,y,\lambda)$ 驻点的问题。

同时，我们称 $F(x,y,\lambda)=f(x,y)+\lambda\varphi(x,y)$ 为条件极值的拉格朗日函数， $\lambda$ 称为拉格朗日乘数。因此，函数 $f (x, y)$ 在点 $x_0,y_0)$ 处取得条件 $\varphi(x,y)=0$ 条件下极值的必要条件为： $\exists\; \lambda_0$ 使得 $(x_0,y_0,\lambda_0)$ 为拉格朗日函数的 $F(x,y,\lambda)$ 的驻点。

2.3 拉格朗日乘数法的求解步骤

求多元函数 $Z = f (x, y, z, . . .)$ 在条件 $\varphi(x,y,...)=0,\phi(x,y,...)=0,...$ 下的极值：

第一步：作拉格朗日函数
$F(x,y,z,...,\lambda,\mu,...)=f(x,y,z,...)+\lambda\varphi(x,y,...)+\mu\phi(x,y,...)+...$
第二步：求 $F(x,y,z,...,\lambda,\mu,...)$ 的驻点 $(x_0,y_0,z_0,...,\lambda_0,\mu_0,...)$ ，即解如下方程组：
$\begin{aligned} \begin{cases} F_x=0\\ F_y=0\\ \cdots\\ F_\lambda=0\\ \cdots \end{cases} \end{aligned}$
第三步： $(x_0,y_0,z_0,...,\lambda_0,\mu_0,...)$ 便是可能的条件极值点