首先，直接不加赘述的给出最优化理论是研究函数：

在给定一组约束条件下的最小值(或者最大值)的数学问题. 基本形式为：

那其中有不等式约束和等式约束。

接下来就是KKT条件了，其实KKT的应用场景并不是很大，但非常重要，关系到最优解的若干特性，KKT条件分为如下三点：

那么，这里最重要的其实就是第二点和第三点了，第一点非常直观，也就是说我们的最优解是一个解，这很显然了，必备的条件不需多加讨论。第二点是注意的，他体现出了运用拉格朗日乘子法的特性，当然这里是广义的情况下了（不明白拉格朗日乘子法的同学可以在高等代数的基本课本上找到，其实实质就是简化条件，将附件的约束条件转移到函数当中，方便计算），这里，在最优点x∗, ∇f必须是∇gi和∇hj的线性組合, μi和λj都叫作拉格朗日乘子. 但是对于等式约束和不等式约束，限制条件并不一样（如果一样就出问题了），所不同的是不等式限制条件有方向性, 所以每一个μi都必须大于或等于零, 而等式限制条件没有方向性，所以λj没有符号的限制, 其符号要视等式限制条件的写法而定.