2.3　关于拉格朗日乘子法的预备知识

本节将介绍关于拉格朗日乘子法的预备知识，拉格朗日乘子法可用于求解含等式约束的优化问题。

1．基本原理

含等式约束优化问题的数学模型为

式（2.51）的求解方法可见如下命题。

【命题2.14】设和均为连续一阶可导函数，记向量是式（2.51）的局部最优解，是的梯度向量（即有），是函数的Jacobian矩阵（即有），并且是行满秩矩阵，则存在维列向量满足

【证明】由于向量是式（2.51）的局部最优解，它一定也是可行解，于是满足。另一方面，由于是阶行满秩矩阵，其中必然存在阶子矩阵是可逆的，不失一般性，假设其中前列构成的子矩阵可逆，则根据隐函数定理可知，在的某个-领域内，基于方程组可以确定将的前个变量表示成关于其后个变量的闭式函数，不妨将该函数记为，于是下面仅需要考虑对向量进行优化即可。

现将矩阵按列分块表示为，其中为的前列构成的子矩阵（可逆），为的后列构成的子矩阵，则在向量处通过对恒等式求一阶导数可以建立如下等式：

接着将向量按行分块表示为。其中，为的前个分量构成的子向量，为的后个分量构成的子向量。由于向量是式（2.51）的局部最优解，于是有

将式（2.53）代入式（2.54）中可得

若令，则有

将式（2.56）中的两个等式合并可得

证毕。

命题2.14间接给出了求解式（2.51）的方法，即拉格朗日乘子法。为了求解式（2.51）可以构造如下拉格朗日函数：

式中，称为拉格朗日乘子。式（2.51）的最优解和需要满足如下等式：

可以将式（2.59）看成关于和的方程组，其中的方程个数为，未知参数个数也为。在一些特殊情况下，该方程组存在闭式解，但是在绝大多数情况下，该方程组并不存在闭式解，需要通过数值技术来进行求解。

2．两种数学优化模型

下面将讨论本书涉及的两种数学优化模型，第1种模型存在最优闭式解，第2种模型则不存在最优闭式解。

首先考虑第1种模型。设列满秩矩阵、正定矩阵、向量及向量组，相应的数学优化模型为

式（2.60）对应的拉格朗日函数为

式中，，假设其为列满秩矩阵。根据式（2.59）可知，式（2.60）的最优解和应满足如下等式：

由式（2.62）中的第1式可得

将式（2.63）代入式（2.62）中的第2式可得

最后将式（2.64）代入式（2.63）中可得

从上述推导中不难发现，优化模型式（2.60）的最优闭式解存在，这是因为其中的等式约束为线性约束。

接着考虑第2种模型。设列满秩矩阵、正定矩阵、向量、向量组、对称矩阵组及标量组，相应的数学优化模型为

式（2.66）对应的拉格朗日函数为

根据式（2.59）可知，式（2.66）的最优解和应满足如下等式：

由式（2.68）中的第1式可得

将式（2.69）代入式（2.68）中的第2式可得

不难发现，式（2.70）是关于的非线性方程，需要通过迭代或多项式求根的方式进行数值求解，将的数值解代入式（2.69）中即可得到最优解。从上述推导中不难发现，由于的最优闭式解并不存在，因此优化模型式（2.66）的最优闭式解无法获得，需要利用数值技术进行求解，这是因为其中的等式约束为非线性约束（事实上为二次约束）。