Convex-optimization-quick-guide

凸最適化-はじめに

このコースは、さまざまな工学および科学アプリケーションで発生する非線形最適化問題を解決したい学生に役立ちます。 このコースは、線形計画法の基本理論から始まり、凸計画と関数の概念、および関連する用語を紹介して、非線形計画問題を解決するために必要なさまざまな定理を説明します。 このコースでは、このような問題を解決するために使用されるさまざまなアルゴリズムを紹介します。 この種の問題は、機械学習、電気工学の最適化問題など、さまざまなアプリケーションで発生します。 生徒は高校の数学の概念と計算の予備知識を持っている必要があります。

このコースでは、学生は、制約のある$ min f \ left（x \ right）$などの最適化問題を解決する方法を学びます。

関数$ f \ left（x \ right）$が線形関数であり、制約が線形である場合、これらの問題は簡単に解決できます。 それは線形計画問題（LPP）と呼ばれます。 しかし、制約が非線形である場合、上記の問題を解決することは困難です。 グラフに関数をプロットできない限り、最適化を分析しようとするのは1つの方法ですが、3次元を超える場合は関数をプロットできません。 したがって、そのような問題を解決するための非線形計画法または凸計画法の技術があります。 これらのチュートリアルでは、このような手法の学習に焦点を当て、最終的には、このような問題を解決するためのいくつかのアルゴリズムを学習します。 最初に、凸計画問題の基礎である凸集合の概念をもたらします。 次に、凸関数の導入により、これらの問題を解決するためのいくつかの重要な定理と、これらの定理に基づくアルゴリズムをいくつか紹介します。

用語集

• 空間$ \ mathbb \ {R} ^ n $ −実数を持つn次元のベクトルであり、次のように定義されます− $ \ mathbb \ {R} ^ n = \ left \\ {\ left（x_1、x_2、 …​、x_n \ right）^ \ {\ tau}：x_1、x_2、…​.、x_n \ in \ mathbb \ {R} \ right \} $
• スペース$ \ mathbb \ {R} ^ \ {mXn} $-次の$ mXn $のすべての実数値行列のセットです。

凸最適化-線形計画法

方法論

線形最適化とも呼ばれる線形計画法は、関係が本質的に線形である数学的問題を解決するために使用される手法です。 線形計画法の基本的な性質は、*制約*を条件として、*目的関数*を最大化または最小化することです。 目的関数は、問題の数学モデルから取得される線形関数です。 制約は、モデルに課せられる条件であり、線形でもあります。

• 与えられた質問から、目的関数を見つけます。
• 制約を見つけます。
• グラフに制約を描きます。
• すべての制約の交差によって形成される実行可能領域を見つけます。
• 実行可能領域の頂点を見つけます。
• これらの頂点で目的関数の値を見つけます。
• （質問に応じて）目的関数を最大化または最小化する頂点が答えです。

例

• ステップ1 *-$ 5x + 3y $を最大化する

$ x + y \ leq 2 $、

$ 3x + y \ leq 3 $、

$ x \ geq 0 \：および\：y \ geq 0 $

ソリューション-

最初のステップは、グラフ上の実行可能領域を見つけることです。

例1

グラフから明らかなように、実行可能領域の頂点は

$ \ left（0、0 \ right）\ left（0、2 \ right）\ left（1、0 \ right）\ left（\ frac \ {1} \ {2}、\ frac \ {3} \ { 2} \ right）$

$ f \ left（x、y \ right）= 5x + 3y $とする

これらの値を目的関数に入れると、次のようになります-

$ f \ left（0、0 \ right）$ = 0

$ f \ left（0、2 \ right）$ = 6

$ f \ left（1、0 \ right）$ = 5

$ f \ left（\ frac \ {1} \ {2}、\ frac \ {3} \ {2} \ right）$ = 7

したがって、関数は$ \ left（\ frac \ {1} \ {2}、\ frac \ {3} \ {2} \ right）$で最大化します

• ステップ2 *-時計会社がデジタル時計と機械式時計を製造しています。 長期予測では、毎日少なくとも100台のデジタル時計と80台の機械式時計の需要が予想されています。 生産能力には限界があるため、毎日200個を超えるデジタル時計と170個を超える機械式時計を製造することはできません。 出荷契約を満たすために、毎日少なくとも合計200個の時計が出荷されます。

各デジタル時計の販売で$ \ $ 2 $の損失が発生し、各機械式時計で$ \ $ 5 $の利益が生じる場合、純利益を最大化するために各タイプを毎日何個作る必要がありますか？

ソリューション-

生成されるデジタル時計の数を$ x $とする

$ y $は、生産される機械式時計の数です

質問によれば、少なくとも100台のデジタル時計を毎日作成し、最大200台のデジタル時計を作成できます。

$ \ Rightarrow 100 \ leq \：x \ leq 200 $

同様に、少なくとも80個の機械式時計を毎日作成し、最大170個の機械式時計を作成できます。

$ \ Rightarrow 80 \ leq \：y \ leq 170 $

毎日少なくとも200個の時計が製造されるためです。

$ \右矢印x + y \ leq 200 $

デジタル時計を販売するたびに$ \ $ 2 $の損失が生じるが、各機械式時計は$ \ $ 5 $の利益を生み出すため、

総利益は次のように計算できます。

$利益= -2x + 5年$

そして、我々は利益を最大化する必要があります、したがって、質問は次のように定式化できます-

$ -2x + 5y $を最大化する

$ 100 \：\ leq x \：\ leq 200 $

$ 80 \：\ leq y \：\ leq 170 $

$ x + y \：\ leq 200 $

上記の方程式をグラフにプロットすると、

例2

実行可能領域の頂点は

$ \ left（100、170 \ right）\ left（200、170 \ right）\ left（200、180 \ right）\ left（120、80 \ right）および\ left（100、100 \ right）$

目的関数の最大値は$ \ left（100、170 \ right）$で取得されます。したがって、純利益を最大化するには、100単位のデジタル時計と170単位の機械式時計を生産する必要があります。

凸最適化-ノルム

ノルムは、ベクトルまたは変数に厳密に正の値を与える関数です。

ノルムは関数$ f：\ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R} $

規範の基本的な特徴は次のとおりです-

$ X $を$ X \ in \ mathbb \ {R} ^ n $のようなベクトルとする

• $ \ left \ | x \ right \ | \ geq 0 $
• $ \ left \ | x \ right \ | = 0 \ Leftrightarrow x = 0 \ forall x \ in X $
• $ \ left \ | \ alpha x \ right \ | = \ left | \ alpha \ right | \ left \ | x \ right \ | \ forall \：x \ in Xおよび\：\ alpha \：is \：a \：scalar $
• $ \ left \ | x + y \ right \ | \ leq \ left \ | x \ right \ | + \ left \ | y \右\ | \ forall x、y \ in X $
• $ \ left \ | x-y \ right \ | \ geq \ left \ | \左\ | x \ right \ |-\ left \ | y \右\ | \ right \ | $

定義により、ノルムは次のように計算されます-

• $ \ left \ | x \ right \ | _1 = \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ left | x_i \ right | $
• $ \ left \ | x \ right \ | _2 = \ left（\ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ left | x_i \ right | ^ 2 \ right）^ \ {\ frac \ {1} \ {2}} $
• $ \ left \ | x \ right \ | _p = \ left（\ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ left | x_i \ right | ^ p \ right）^ \ {\ frac \ {1} \ {p}} 、1 \ leq p \ leq \ infty $

ノルムは連続関数です。

証明

定義により、$ X \ Rightarrow f \ left（x_n \ right）\ rightarrow f \ left（x \ right）$の$ x_n \ rightarrow x $の場合、$ f \ left（x \ right）$は定数関数です。

$ f \ left（x \ right）= \ left \ |とするx \ right \ | $

したがって、$ \ left | f \ left（x_n \ right）-f \ left（x \ right）\ right | = \ left | \左\ | x_n \ right \ | -\左\ | x \ right \ | \ right | \ leq \ left | \ left | x_n-x \ right | \：\ right | $

したがって、$ x_n \ rightarrow x $なので、$ \ left \ | x_n-x \ right \ | \ rightarrow 0 $

したがって、$ \ left | f \ left（x_n \ right）-f \ left（x \ right）\ right | \ leq 0 \ Rightarrow \ left | f \ left（x_n \ right）-f \ left（x \ right）\ right | = 0 \ Rightarrow f \ left（x_n \ right）\ rightarrow f \ left（x \ right）$

したがって、ノルムは連続関数です。

凸最適化-インナープロダクト

内積は、ベクトルのペアにスカラーを与える関数です。

内積-$ f：\ mathbb \ {R} ^ n \ times \ mathbb \ {R} ^ n \ rightarrow \ kappa $ここで、$ \ kappa $はスカラーです。

内積の基本的な特徴は次のとおりです-

$ math \ in \ mathbb \ {R} ^ n $

• $ \ left \ langle x、x \ right \ rangle \ geq 0、\ forall x \ in X $
• $ \ left \ langle x、x \ right \ rangle = 0 \ Leftrightarrow x = 0、\ forall x \ in X $
• $ \ left \ langle \ alpha x、y \ right \ rangle = \ alpha \ left \ langle x、y \ right \ rangle、\ forall \ alpha \ in \ kappa \：and \：\ forall x、y \ in X $
• $ \ left \ langle x + y、z \ right \ rangle = \ left \ langle x、z \ right \ rangle + \ left \ langle y、z \ right \ rangle、\ forall x、y、z \ in X $
• $ \ left \ langle \ overline \ {y、x} \ right \ rangle = \ left（x、y \ right）、\ forall x、y \ in X $

注-

• ノルムと内積の関係：$ \ left \ | x \ right \ | = \ sqrt \ {\ left（x、x \ right）} $
• $ \ forall x、y \ in \ mathbb \ {R} ^ n、\ left \ langle x、y \ right \ rangle = x_1y_1 + x_2y_2 + …​ + x_ny_n $

例

{空} 1 $ x = \ left（1,2,1 \ right）\：および\：y = \ left（3、-1,3 \ right）$の内積を求めます

溶液

$ \ left \ langle x、y \ right \ rangle = x_1y_1 + x_2y_2 + x_3y_3 $

$ \ left \ langle x、y \ right \ rangle = \ left（1 \ times3 \ right）+ \ left（2 \ times-1 \ right）+ \ left（1 \ times3 \ right）$

$ \ left \ langle x、y \ right \ rangle = 3 + \ left（-2 \ right）+ 3 $

$ \ left \ langle x、y \ right \ rangle = 4 $

{空} 2。 $ x = \ left（4,9,1 \ right）、y = \ left（-3,5,1 \ right）$および$ z = \ left（2,4,1 \ right）$の場合、$を見つける\ left（x + y、z \ right）$

溶液

ご存じのとおり、$ \ left \ langle x + y、z \ right \ rangle = \ left \ langle x、z \ right \ rangle + \ left \ langle y、z \ right \ rangle $

$ \ left \ langle x + y、z \ right \ rangle = \ left（x_1z_1 + x_2z_2 + x_3z_3 \ right）+ \ left（y_1z_1 + y_2z_2 + y_3z_3 \ right）$

$ \ left \ langle x + y、z \ right \ rangle = \ left \\ {\ left（4 \ times 2 \ right）+ \ left（9 \ times 4 \ right）+ \ left（1 \ times1 \ right ）\ right \} + $

$ \ left \\ {\ left（-3 \ times2 \ right）+ \ left（5 \ times4 \ right）+ \ left（1 \ times 1 \ right）\ right \} $

$ \ left \ langle x + y、z \ right \ rangle = \ left（8 + 36 + 1 \ right）+ \ left（-6 + 20 + 1 \ right）$

$ \ left \ langle x + y、z \ right \ rangle = 45 + 15 $

$ \ left \ langle x + y、z \ right \ rangle = 60 $

凸最適化-最小値と最大値

局所最小または最小化

$ \ bar \ {x} \ in \：S $は、$ f \ left（\ bar \ {x} \ right）\ leq f \ left（x \ right）の場合、関数$ f $の局所的な最小値と呼ばれます、\ forall x \ in N_ \ varepsilon \ left（\ bar \ {x} \ right）$ここで$ N_ \ varepsilon \ left（\ bar \ {x} \ right）$は$ \ bar \ {x}の近傍を意味します$、つまり、$ N_ \ varepsilon \ left（\ bar \ {x} \ right）$は、$ \ left \ |を意味します。 x- \ bar \ {x} \ right \ | <\ varepsilon $

ローカルマキシマまたはマキシマイザー

$ \ bar \ {x} \ in \：S $は、$ f \ left（\ bar \ {x} \ right）\ geq f \ left（x \ right）の場合、関数$ f $の局所的最大値と呼ばれます。 、\ forall x \ in N_ \ varepsilon \ left（\ bar \ {x} \ right）$ここで$ N_ \ varepsilon \ left（\ bar \ {x} \ right）$は$ \ bar \ {x}の近傍を意味します$、つまり、$ N_ \ varepsilon \ left（\ bar \ {x} \ right）$は、$ \ left \ |を意味します。 x- \ bar \ {x} \ right \ | <\ varepsilon $

グローバル最小

$ \ bar \ {x} \ in \：S $は、$ f \ left（\ bar \ {x} \ right）\ leq f \ left（x \ right）の場合、関数$ f $のグローバルミニマムと呼ばれます。 、\ forall x \ in S $

グローバル最大値

$ \ bar \ {x} \ in \：S $は、$ f \ left（\ bar \ {x} \ right）\ geq f \ left（x \ right）の場合、関数$ f $のグローバルな最大値と呼ばれます、\ forall x \ in S $

例

• ステップ1 *-$ f \ left（\ bar \ {x} \ right）= \ leftの局所的な最小値と最大値を見つける| x ^ 2-4 \ right | $

ソリューション-

Min

上記の関数のグラフから、ローカル最小値は$ x = \ pm 2 $で発生し、ローカル最大値は$ x = 0 $で発生することが明らかです。

• ステップ2 *-関数$ f \ left（x \ right）= \ left | 4x ^ 3-3x ^ 2 + 7 \ right | $

ソリューション-

Min 2

上記の関数のグラフから、グローバル最小値が$ x = -1 $で発生することが明らかです。

凸最適化-凸セット

$ S \ subseteq \ mathbb \ {R} ^ n $とする$、次に$ \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S $ここで$ \ lambda \ in \ left（0,1 \ right）$。

注-

• 2つの凸集合の和集合は凸である場合とそうでない場合があります。
• 2つの凸集合の交点は常に凸です。

証明

$ S_1 $と$ S_2 $を2つの凸集合とします。

$ S_3 = S_1 \ cap S_2 $にする

$ x_1、x_2 \ in S_3 $にする

$ S_3 = S_1 \ cap S_2 $なので、$ x_1、x_2 \ in S_1 $および$ x_1、x_2 \ in S_2 $

$ S_i $は凸集合であるため、$ \ forall $ $ i \ in 1,2、$

したがって、$ \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S_i $ここで$ \ lambda \ in \ left（0,1 \ right）$

したがって、$ \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S_1 \ cap S_2 $

$ \ Rightarrow \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S_3 $

したがって、$ S_3 $は凸集合です。

• $ \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i $形式の加重平均。ここで$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_i = 1 $および$ \ lambda_i \ geq 0、\ forall i \ in \ left [1、k \ right] $は、$ x_1、x_2、…​. x_k。$の円錐組み合わせと呼ばれます
• $ \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i $の形式の加重平均。ここで$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_i = 1 $はアフィン結合と呼ばれます$ x_1、x_2、…​. x_k。$
• $ \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i $形式の加重平均は、$ x_1、x_2、…​. x_k。$の線形結合と呼ばれます。

例

• ステップ1 *-$ S = \ left \\ {x \ in \ mathbb \ {R} ^ n：Cx \ leq \ alpha \ right \} $が凸集合であることを証明する

溶液

$ x_1 $と$ x_2を\ S $にしましょう

$ \ Rightarrow Cx_1 \ leq \ alpha $および$ \：and \：Cx_2 \ leq \ alpha $

表示するには：$ \：\：y = \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ in S \：\ forall \：\ lambda \ in \ left（0,1 \右）$

$ Cy = C \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）= \ lambda Cx_1 + \ left（1- \ lambda \ right）Cx_2 $

$ \ Rightarrow Cy \ leq \ lambda \ alpha + \ left（1- \ lambda \ right）\ alpha $

$ \ Rightarrow Cy \ leq \ alpha $

$ \ Rightarrow y \ in S $

したがって、$ S $は凸集合です。

• ステップ2 *-セット$ S = \ left \\ {\ left（x_1、x_2 \ right）\ in \ mathbb \ {R} ^ 2：x _ \ {1} ^ \ {2} \ leq 8x_2 \ right \} $は凸集合です。

溶液

$ x、y \ in S $とする

$ x = \ left（x_1、x_2 \ right）$および$ y = \ left（y_1、y_2 \ right）$とする

$ \ Rightarrow x _ \ {1} ^ \ {2} \ leq 8x_2 $および$ y _ \ {1} ^ \ {2} \ leq 8y_2 $

表示するには-$ \ lambda x + \ left（1- \ lambda \ right）y \ in S \ Rightarrow \ lambda \ left（x_1、x_2 \ right）+ \ left（1- \ lambda \ right）\ left（y_1、 y_2 \ right）\ in S \ Rightarrow \ left [\ lambda x_1 + \ left（1- \ lambda）y_2] \ in S \ right）\ right] $

$ Now、\ left [\ lambda x_1 + \ left（1- \ lambda \ right）y_1 \ right] ^ \ {2} = \ lambda ^ 2x _ \ {1} ^ \ {2} + \ left（1- \ lambda \ right）^ 2y _ \ {1} ^ \ {2} +2 \ lambda \ left（1- \ lambda \ right）x_1y_1 $

ただし、$ 2x_1y_1 \ leq x _ \ {1} ^ \ {2} + y _ \ {1} ^ \ {2} $

したがって、

$ \ left [\ lambda x_1 + \ left（1- \ lambda \ right）y_1 \ right] ^ \ {2} \ leq \ lambda ^ 2x _ \ {1} ^ \ {2} + \ left（1- \ lambda \ right）^ 2y _ \ {1} ^ \ {2} +2 \ lambda \ left（1- \ lambda \ right）\ left（x _ \ {1} ^ \ {2} + y _ \ {1} ^ \ { 2} \ right）$

$ \ Rightarrow \ left [\ lambda x_1 + \ left（1- \ lambda \ right）y_1 \ right] ^ \ {2} \ leq \ lambda x _ \ {1} ^ \ {2} + \ left（1- \ lambda \ right）y _ \ {1} ^ \ {2} $

$ \ Rightarrow \ left [\ lambda x_1 + \ left（1- \ lambda \ right）y_1 \ right] ^ \ {2} \ leq 8 \ lambda x_2 + 8 \ left（1- \ lambda \ right）y_2 $

$ \ Rightarrow \ left [\ lambda x_1 + \ left（1- \ lambda \ right）y_1 \ right] ^ \ {2} \ leq 8 \ left [\ lambda x_2 + \ left（1- \ lambda \ right）y_2 \ right ] $

$ \ Rightarrow \ lambda x + \ left（1- \ lambda \ right）y \ in S $

• ステップ3 *-各整数kについて、$ S $のk点のすべての凸の組み合わせが$ S $にある場合に限り、セット$ S \ in \ mathbb \ {R} ^ n $が凸であることを示します。

溶液

$ S $を凸集合にします。 次に、表示します。

$ c_1x_1 + c_2x_2 + …​.. + c_kx_k \ in S、\ displaystyle \ sum \ limits _ \ {1} ^ k c_i = 1、c_i \ geq 0、\ forall i \ in 1,2、…​.、 k $

帰納法による証明

$ k = 1、x_1 \ in S、c_1 = 1 \ Rightarrow c_1x_1 \ in S $の場合

$ k = 2、x_1、x_2 \ in Sの場​​合、c_1 + c_2 = 1 $およびSは凸集合であるため

$ \ Rightarrow c_1x_1 + c_2x_2 \ in S. $

Sのm点の凸結合がSにあるとします。

$ c_1x_1 + c_2x_2 + …​ + c_mx_m \ in S、\ displaystyle \ sum \ limits _ \ {1} ^ m c_i = 1、c_i \ geq 0、\ forall i \ in 1,2、…​、m $

さあ、$ x_1、x_2 …​.、x_m、x _ \ {m + 1} \ in S $

$ x = \ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_mx_m + \ mu _ \ {m + 1} x _ \ {m + 1} $とする

$ x = \ left（\ mu_1 + \ mu_2 + …​ + \ mu_m \ right）\ frac \ {\ mu_1x_1 + \ mu_2x_2 + \ mu_mx_m} \ {\ mu_1 + \ mu_2 + …​…​…​ + \ mu_m} + \ mu _ \ {m + 1} x _ \ {m + 1} $

$ y = \ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_mx_m} \ {\ mu_1 + \ mu_2 + …​…​…​ + \ mu_m} $

$ \ Rightarrow x = \ left（\ mu_1 + \ mu_2 + …​ + \ mu_m \ right）y + \ mu _ \ {m + 1} x _ \ {m + 1} $

ここで、係数の合計が1であるため、$ yはS $になります。

Sは凸集合であり、$ y、x _ \ {m + 1} \ in S $であるため、$ \ Rightarrow x \ in S $

したがって、誘導によって証明されました。

凸最適化-アフィンセット

任意の2つの点について、これらの点を通る線がセット$ A $内にある場合、セット$ A $はアフィンセットと呼ばれます。

注-

• $ S $は、ポイントのすべてのアフィンの組み合わせが含まれている場合にのみ、アフィンセットです。
• 空のセットおよびシングルトンのセットは、アフィンおよび凸の両方のセットです。 +たとえば、線形方程式の解はアフィンセットです。

証明

Sを線形方程式の解とする。

定義により、$ S = \ left \\ {x \ in \ mathbb \ {R} ^ n：Ax = b \ right \} $

$ x_1、x_2を\ in S \ Rightarrow Ax_1 = b $および$ Ax_2 = b $とする

証明するために：$ A \ left [\ theta x_1 + \ left（1- \ theta \ right）x_2 \ right] = b、\ forall \ theta \ in \ left（0,1 \ right）$

$ A \ left [\ theta x_1 + \ left（1- \ theta \ right）x_2 \ right] = \ theta Ax_1 + \ left（1- \ theta \ right）Ax_2 = \ theta b + \ left（1- \ theta \ right ）b = b $

したがって、Sはアフィンセットです。

定理

$ C $がアフィンセットで、$ x_0 \ in C $の場合、セット$ V = C-x_0 = \ left \\ {x-x_0：x \ in C \ right \} $はCの部分空間です。

証明

$ x_1、x_2 \ in V $とする

表示するには：$ \ alpha x_1 + \ beta x_2 \ in V $ for some $ \ alpha、\ beta $

Vの定義により、$ x_1 + x_0 \ in C $および$ x_2 + x_0 \ in C $

今、$ \ alpha x_1 + \ beta x_2 + x_0 = \ alpha \ left（x_1 + x_0 \ right）+ \ beta \ left（x_2 + x_0 \ right）+ \ left（1- \ alpha-\ beta \ right）x_0 $

しかし、$ \ alpha \ left（x_1 + x_0 \ right）+ \ beta \ left（x_2 + x_0 \ right）+ \ left（1- \ alpha-\ beta \ right）x_0 \ in C $はCがアフィン集合であるため。

したがって、$ \ alpha x_1 + \ beta x_2 \ in V $

したがって証明した。

凸最適化-ハル

Sの点の集合の凸包は、その内側またはその境界上にSのすべての点を含む最小の凸領域の境界です。

OR

$ S \ subseteq \ mathbb \ {R} ^ n $とするSの凸包は、$ Co \ left（S \ right）$で表され、Sのすべての凸の組み合わせのコレクション、つまり$ x \ in Co \ left（S \ right）$ $ x \ in \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_ix_i $の場合にのみ$$ displaystyle \ sum \ limits _ \ {1} ^ n \ lambda_i = 1 $および$ \ lambda_i \ geq 0 \ forall x_i \ in S $

備考-平面内のSの点の集合の外殻は凸多角形を定義し、多角形の境界上のSの点は多角形の頂点を定義します。

定理 $ Co \ left（S \ right）= \ left \\ {x：x = \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_ix_i、x_i \ in S、\ displaystyle \ sum \ limits_ \ {i = 1} ^ n \ lambda_i = 1、\ lambda_i \ geq 0 \ right \} $凸包が凸集合であることを示します。

証明

$ x_1、x_2 \ in Co \ left（S \ right）$、次に$ x_1 = \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_ix_i $および$ x_2 = \ displaystyle \ sum \ limits _ \ { i = 1} ^ n \ lambda_ \ gamma x_i $ここで、$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_i = 1、\ lambda_i \ geq 0 $および$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ gamma_i = 1、\ gamma_i \ geq0 $

$ \ theta \ in \ left（0,1 \ right）、\ theta x_1 + \ left（1- \ theta \ right）x_2 = \ theta \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_ix_i + \の場合左（1- \ theta \ right）\ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ gamma_ix_i $

$ \ theta x_1 + \ left（1- \ theta \ right）x_2 = \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_i \ theta x_i + \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ gamma_i \ left（1- \ theta \ right）x_i $

$ \ theta x_1 + \ left（1- \ theta \ right）x_2 = \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ left [\ lambda_i \ theta + \ gamma_i \ left（1- \ theta \ right） \ right] x_i $

係数を考慮して、

$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ left [\ lambda_i \ theta + \ gamma_i \ left（1- \ theta \ right）\ right] = \ theta \ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ lambda_i + \ left（1- \ theta \ right）\ displaystyle \ sum \ limits _ \ {i = 1} ^ n \ gamma_i = \ theta + \ left（1- \ theta \ right）= 1 $

したがって、$ \ theta x_1 + \ left（1- \ theta \ right）x_2 \ in Co \ left（S \ right）$

したがって、凸包は凸集合です。

カラテオドリ定理

Sを$ \ mathbb \ {R} ^ n $の任意のセットとします。$ x \ in Co \ left（S \ right）$の場合、$ x \ in Co \ left（x_1、x_2、…​. 、x_n、x _ \ {n + 1} \ right）$。

証明

$ x \ in Co \ left（S \ right）$であるため、$ x $はSの有限個の点の凸の組み合わせ、つまり、

$ x = \ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ lambda_jx_j、\ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ lambda_j = 1、\ lambda_j \ geq 0 $および$ x_j \ in S、\ forall j \ in \ left（1、k \ right）$

$ k \ leq n + 1 $の場合、得られる結果は明らかに真です。

$ k \ geq n + 1 $の場合、$ \ left（x_2-x_1 \ right）\ left（x_3-x_1 \ right）、…​..、\ left（x_k-x_1 \ right）$は線形依存。

$ \ Rightarrow \ exists \ mu _j \ in \ mathbb \ {R}、2 \ leq j \ leq k $（すべてゼロではない）$ \ displaystyle \ sum \ limits _ \ {j = 2} ^ k \ mu _j \ left（x_j-x_1 \ right）= 0 $

$ \ mu_1 =-\ displaystyle \ sum \ limits _ \ {j = 2} ^ k \ mu _j $を定義し、次に$ \ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ mu_j x_j = 0、\ displaystyle \を定義しますsum \ limits _ \ {j = 1} ^ k \ mu_j = 0 $

ここで、すべての$ \ mu_j’s $がゼロに等しいわけではありません。 $ \ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ mu_j = 0 $なので、少なくとも$ \ mu_j> 0,1 \ leq j \ leq k $のいずれか

次に、$ x = \ displaystyle \ sum \ limits _ \ {1} ^ k \ lambda_j x_j + 0 $

$ x = \ displaystyle \ sum \ limits _ \ {1} ^ k \ lambda_j x_j- \ alpha \ displaystyle \ sum \ limits _ \ {1} ^ k \ mu_j x_j $

$ x = \ displaystyle \ sum \ limits _ \ {1} ^ k \ left（\ lambda_j- \ alpha \ mu_j \ right）x_j $

$ \ alpha = min \ left \\ {\ frac \ {\ lambda_j} \ {\ mu_j}、\ mu_j \ geq 0 \ right \} = \ frac \ {\ lambda_j} \ {\ mu _j}、$の一部の$ i = 1,2、…​、k $

$ \ mu_j \ leq 0の場合、\ lambda_j- \ alpha \ mu_j \ geq 0 $

$ \ mu_j> 0の場合、\：\ frac \ {\ lambda _j} \ {\ mu_j} \ geq \ frac \ {\ lambda_i} \ {\ mu _i} = \ alpha \ Rightarrow \ lambda_j- \ alpha \ mu_j \ geq 0、j = 1、2、…​ k $

特に、$ \ lambda $の定義により、$ \ lambda_i- \ alpha \ mu_i = 0 $

$ x = \ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ left（\ lambda_j- \ alpha \ mu_j \ right）x_j $、ここで

$ \ lambda_j- \ alpha \ mu_j \ geq0 $および$ \ displaystyle \ sum \ limits _ \ {j = 1} ^ k \ left（\ lambda_j- \ alpha \ mu_j \ right）= 1 $および$ \ lambda_i- \ alpha \ mu_i = 0 $

したがって、xは最大（k-1）点の凸の組み合わせとして表すことができます。

この縮小プロセスは、xが（n + 1）要素の凸の組み合わせとして表されるまで繰り返すことができます。

凸最適化-ワイエルシュトラスの定理

Sを$ \ mathbb \ {R} ^ n $の非空の閉じた境界付きセット（コンパクトセットとも呼ばれます）とし、$ f：S \ rightarrow \ mathbb \ {R} $をSの連続関数とします。次に、問題min $ \ left \\ {f \ left（x \ right）：x \ in S \ right \} $が最小になります。

証明

Sは空ではなく境界があるため、下限が存在します。

$ \ alpha = Inf \ left \\ {f \ left（x \ right）：x \ in S \ right \} $

$ S_j = \ left \\ {x \ in S：\ alpha \ leq f \ left（x \ right）\ leq \ alpha + \ delta ^ j \ right \} \ forall j = 1,2、.. 。$および$ \ delta \ in \ left（0,1 \ right）$

infimiumの定義により、$ S_j $は各$ j $に対して空ではありません。

S_j $の$ x_jを選択して、$ j = 1,2、…​ $のシーケンス$ \ left \\ {x_j \ right \} $を取得します

Sは有界なので、シーケンスも有界であり、収束サブシーケンス$ \ left \\ {y_j \ right \} $があり、これは$ \ hat \ {x} $に収束します。 したがって、$ \ hat \ {x} $は限界点であり、Sは閉じているため、$ \ hat \ {x} \ in S $です。 fは連続なので、$ f \ left（y_i \ right）\ rightarrow f \ left（\ hat \ {x} \ right）$

$ \ alpha \ leq f \ left（y_i \ right）\ leq \ alpha + \ delta ^ kなので、\ alpha = \ displaystyle \ lim _ \ {k \ rightarrow \ infty} f \ left（y_i \ right）= f \ left （\ hat \ {x} \ right）$

したがって、$ \ hat \ {x} $は最小化ソリューションです。

備考

ワイエルシュトラスの定理が成り立つには、2つの重要な必要条件があります。 これらは次のとおりです-

• *ステップ1 *-セットSは有界セットでなければなりません。 +関数f \ left（x \ right）= x $を考えます。 +これは無制限のセットであり、そのドメインの任意のポイントに最小値があります。 +したがって、最小値を取得するには、Sを制限する必要があります。
• *ステップ2 *-セットSを閉じる必要があります。 +ドメイン\ left（0,1 \ right）の関数$ f \ left（x \ right）= \ frac \ {1} \ {x} $を考えます。 +この関数は指定されたドメインで閉じられておらず、その最小値も存在しません。 +したがって、最小値を取得するには、Sを閉じる必要があります。

凸最適化-最も近い点の定理

Sを$ \ mathbb \ {R} ^ n $の空でない閉じた凸集合とし、$ y \ notin S $とし、次に$ \ exists $を最小の点$ \ bar \ {x} \ in S $とするyからの距離、つまり、$ \ left \ | y- \ bar \ {x} \ right \ | \ leq \ left \ | y-x \ right \ | \ forall x \ in S. $

さらに、$ \ bar（{x} $は、$ \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq 0 $または$ \ left（y- \ hat \ {x}、x- \ hat \ {x} \ right）\ leq 0 $

証明

最も近い点の存在

$ S \ ne \ phi、\ exists $から、Sのyからの最小距離が$ \ left \ |以下になるように、S $内のポイント$ \ hat \ {x} \が存在するためy- \ hat \ {x} \ right \ | $。

定義$ \ hat \ {S} = S \ cap \ left \\ {x：\ left \ | y-x \ right \ | \ leq \ left \ | y- \ hat \ {x} \ right \ | \ right \} $

$ \ hat \ {S} $は閉じられており、ノルムは連続関数なので、ワイエルシュトラスの定理により、$ \ left \ |のような最小点$ \ hat \ {x} \ in S $が存在します。 y- \ hat \ {x} \ right \ | = Inf \ left \\ {\ left \ | y-x \ right \ |、x \ in S \ right \} $

一意性

$ \ bar \ {x} \ in S $が$ \ left \ |であるとしますy- \ hat \ {x} \ right \ | = \ left \ | y- \ hat \ {x} \ right \ | = \ alpha $

Sは凸であるため、$ \ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ in S $

しかし、$ \ left \ | y- \ frac \ {\ hat \ {x}-\ bar \ {x}} \ {2} \ right \ | \ leq \ frac \ {1} \ {2} \ left \ | y- \ hat \ {x} \ right \ | + \ frac \ {1} \ {2} \ left \ | y- \ bar \ {x} \ right \ | = \ alpha $

$ \ hat \ {x} $はyに最も近いため、厳密な不等式にすることはできません。

したがって、$ \ left \ | y- \ hat \ {x} \ right \ | = \ mu \ left \ | y- \ hat \ {x} \ right \ | $、一部の$ \ mu $

今$ \ left \ | \ mu \ right \ | = 1. $ $ \ mu = -1 $の場合、$ \ left（y- \ hat \ {x} \ right）=-\ left（y- \ hat \ {x} \ right ）\ Rightarrow y = \ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ in S $

ただし、$ y \ in S $。 したがって矛盾。 したがって、$ \ mu = 1 \ Rightarrow \ hat \ {x} = \ bar \ {x} $

したがって、最小化ポイントは一意です。

証明の2番目の部分では、すべてに対して$ \ left（y- \ hat \ {x} \ right）^ \ {\ tau} \ left（x- \ bar \ {x} \ right）\ leq 0 $と仮定します$ x \ in S $

Now,

$ \ left \ | y-x \ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} + \ hat \ {x} -x \ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ left \ | \ hat \ {x} -x \ right \ | ^ \ {2} +2 \ left（\ hat \ {x} -x \ right）^ \ {\ tau} \ left（y- \ hat \ {x} \ right）$

$ \右矢印\ left \ | y-x \ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} $ $ \ left \ | \ hat \ {x} -x \ right \ | ^ \ {2} \ geq 0 $および$ \ left（\ hat \ {x}-x \ right）^ \ {T} \ left（y- \ hat \ {x} \ right）\ geq 0 $

したがって、$ \ hat \ {x} $はポイントを最小化します。

逆に、$ \ hat \ {x} $が最小点であると仮定します。

$ \右矢印\ left \ | y-x \ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ 2 \ forall x \ in S $

Sは凸集合であるため。

$ \ Rightarrow \ lambda x + \ left（1- \ lambda \ right）\ hat \ {x} = \ hat \ {x} + \ lambda \ left（x- \ hat \ {x} \ right）\ in S $ $ x \ in S $および$ \ lambda \ in \ left（0,1 \ right）$の場合

今、$ \ left \ | y- \ hat \ {x}-\ lambda \ left（x- \ hat \ {x} \ right）\ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ 2 $

And

$ \ left \ | y- \ hat \ {x}-\ lambda \ left（x- \ hat \ {x} \ right）\ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ lambda ^ 2 \ left \ | x- \ hat \ {x} \ right \ | ^ \ {2} -2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x } \ right）$

$ \右矢印\ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ lambda ^ \ {2} \ left \ | x- \ hat \ {x} \ right \ | -2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ geq \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} $

$ \ Rightarrow 2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq \ lambda ^ 2 \ left \ | x- \ hat \ {x} \ right \ | ^ 2 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq 0 $

したがって、実証済み。

基本的な分離定理

Sを$ \ mathbb \ {R} ^ n $および$ y \ notin S $にある空でない閉じた凸集合とします。 次に、$ x \ in S $ごとに$ p ^ T y> \ beta $および$ p ^ T x <\ beta $となるような非ゼロベクトル$ p $およびスカラー$ \ beta $が存在します。

証明

Sは非空の閉凸集合であり、したがって$ y \ notin S $は最近傍点定理によるため、次のような一意の最小化点$ \ hat \ {x} \ in S $が存在します。

$ \ left（x- \ hat \ {x} \ right）^ T \ left（y- \ hat \ {x} \ right）\ leq 0 \ forall x \ in S $

$ p = \ left（y- \ hat \ {x} \ right）\ neq 0 $および$ \ beta = \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）= p ^ T \ hat \ {x} $。

次に$ \ left（x- \ hat \ {x} \ right）^ T \ left（y- \ hat \ {x} \ right）\ leq 0 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ T \ left（x- \ hat \ {x} \ right）\ leq 0 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ Tx \ leq \ left（y- \ hat \ {x} \ right）^ T \ hat \ {x} = \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）$ i、e。、$ p ^ Tx \ leq \ beta $

また、$ p ^ Ty- \ beta = \ left（y- \ hat \ {x} \ right）^ Ty- \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）$

$ = \ left（y- \ hat \ {x} \ right）^ T \ left（y-x \ right）= \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2}> 0 $

$ \ Rightarrow p ^ Ty> \ beta $

この定理により、超平面が分離されます。 上記の定理に基づく超平面は次のように定義することができます-

$ S_1 $と$ S_2 $を$ \ mathbb \ {R} $の空でないサブセットとし、$ H = \ left \\ {X：A ^ TX = b \ right \} $を超平面にします。

• 超平面Hは、$ A ^ TX \ leq b \ forall X \ in S_1 $および$ A_TX \ geq b \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を分離すると言われています。
• 超平面Hは、$ A ^ TX <b \ forall X \ in S_1 $および$ A_TX> b \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を厳密に分離すると言われます。
• 超平面Hは、$ A ^ TX \ leq b \ forall X \ in S_1 $および$ A_TX \ geq b + \ varepsilon \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を強く分離すると言われます。ここで$ \ varepsilon $は正のスカラーです。

凸最適化-コーン

$ \ mathbb \ {R} ^ n $の非空集合Cは、$ x \ in C \ Rightarrow \ lambda x \ in C \ forall \ lambda \ geq 0 $の場合、頂点0の円錐であると言われます。

集合Cは、円錐と同様に凸である場合、凸円錐です。

たとえば、$ y = \ left | x \ right | $は凸ではないため、凸円錐ではありません。

しかし、$ y \ geq \ left | x \ right | $は、円錐であると同時に凸でもあるため、凸円錐です。

注-コーンCは、$ x、y \ in C、x + y \ in C $の場合にのみ凸です。

証明

Cは円錐であるため、$ x、y \ in C \ Rightarrow \ lambda x \ in C $および$ \ mu y \ in C \：\ forall \：\ lambda、\ mu \ geq 0 $

Cが凸の場合、\\ lambda x + \ left（1- \ lambda \ right）y \ in C \：\ forall \：\ lambda \ in \ left（0、1 \ right）$

Cは円錐なので、$ \ lambda x \ in C $および$ \ left（1- \ lambda \ right）y \ in C \ Leftrightarrow x、y \ in C $

したがって、$ x + y \ in C $の場合、Cは凸です。

一般に、$ x_1、x_2 \ in C $の場合、$ \ lambda_1x_1 + \ lambda_2x_2 \ in C、\ forall \ lambda_1、\ lambda_2 \ geq 0 $

例

• $ \ mathbb \ {R} ^ n $のベクトルの無限集合の円錐組み合わせは、凸円錐です。
• 空のセットはすべて凸コーンです。
• すべての線形関数は凸円錐です。
• 超平面は線形であるため、凸円錐でもあります。
• 閉じた半空間も凸円錐です。

注-2つの凸円錐の交点は凸円錐ですが、その結合は凸円錐である場合とそうでない場合があります。

凸最適化-Polar Cone

Sを$ \ mathbb \ {R} ^ n $の空でないセットとすると、$ S ^ $で表されるSの極円錐は、$ S ^ = \ left \\ {p \ in \ mathbbで与えられます。 \ {R} ^ n、p ^ Tx \ leq 0 \：\ forall x \ in S \ right \} $。

リマーク

• Sが凸でない場合でも、極円錐は常に凸です。 Sが空のセットの場合、$ S ^ = \ mathbb \ {R} ^ n $。
• 極性は、直交性の一般化と見なされる場合があります。

$ C \ subseteq \ mathbb \ {R} ^ n $とし、Cの直交空間を$ C ^ \ perp = \ left \\ {y \ in \ mathbb \ {R} ^ n：\ left \ langleで示すx、y \ right \ rangle = 0 \ forall x \ in C \ right \} $。

補題

$ S、S_1 $と$ S_2 $を$ \ mathbb \ {R} ^ n $の空でないセットとすると、次のステートメントが真になります-

 *$ S ^* $は閉じた凸コーンです。
* $ S \ subseteq S ^ \ {**} $ここで、$ S ^ \ {**} $は$ S ^ * $の極円錐です。
* $ S_1 \ subseteq S_2 \ Rightarrow S _ \ {2} ^ \ {*} \ subseteq S _ \ {1} ^ \ {*} $。

証明

• ステップ1 *-$ S ^ * = \ left \\ {p \ in \ mathbb \ {R} ^ n、p ^ Tx \ leq 0 \：\ forall \：x \ in S \ right \} $

 *$ x_1、x_2 \ in S ^* \ Rightarrow x _ \ {1} ^ \ {T} x \ leq 0 $および$ x _ \ {2} ^ \ {T} x \ leq 0、\ forall x \ in S $
+ For $ \ lambda \ in \ left（0、1 \ right）、\ left [\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right] ^ Tx = \ left [\ left（\ lambda x_1 \ right）^ T + \ left \\ {\ left（1- \ lambda \ right）x _ \ {2} \ right \} ^ \ {T} \ right] x、\ forall x \ in S $ + $ = \ left [\ lambda x _ \ {1} ^ \ {T} + \ left（1- \ lambda \ right）x _ \ {2} ^ \ {T} \ right] x = \ lambda x _ \ {1} ^ \ {T } x + \ left（1- \ lambda \ right）x _ \ {2} ^ \ {T} \ leq 0 $ +したがって$ \ lambda x_1 + \ left（1- \ lambda \ right）x _ \ {2} \ in S ^ *$ +したがって、$ S ^* $は凸集合です。
 *$ \ lambda \ geq 0、p ^ \ {T} x \ leq 0の場合、\ forall \：x \ in S $
+したがって、$ \ lambda p ^ T x \ leq 0、$ + $ \ Rightarrow \ left（\ lambda p \ right）^ T x \ leq 0 $ + $ \ Rightarrow \ lambda p \ in S ^* $ +したがって、$ S ^ * $は円錐です。
 *$ S ^* $が閉じていることを表示するには、つまり、$ p_n \ rightarrow p $が$ n \ rightarrow \ infty $である場合、$ p \ in S ^ *$
+ $ \ forall x \ in S、p _ \ {n} ^ \ {T} xp ^ T x = \ left（p_n-p \ right）^ T x $ + As $ p_n \ rightarrow p $ as $ n \ rightarrow \ infty \ Rightarrow \ left（p_n \ rightarrow p \ right）\ rightarrow 0 $ +したがって、$ p _ \ {n} ^ \ {T} x \ rightarrow p ^ \ {T} x $。 しかし、$ p _ \ {n} ^ \ {T} x \ leq 0、\：\ forall x \ in S $ +したがって、$ p ^ Tx \ leq 0、\ forall x \ in S $ + $ \ Rightarrow p \ in S ^* $ +したがって、$ S ^ * $は閉じられます。

ステップ2 *-$ S ^ \ {*} = \ left \\ {q \ in \ mathbb \ {R} ^ n：q ^ T p \ leq 0、\ forall p \ in S ^ *\ right \ } $

$ x \ in S $、次に$ \ forall p \ in S ^* 、p ^ T x \ leq 0 \ Rightarrow x ^ Tp \ leq 0 \ Rightarrow x \ in S ^ \ {**} $とする

したがって、$ S \ subseteq S ^ \ {**} $

• ステップ3 *-$ S_2 ^ *= \ left \\ {p \ in \ mathbb \ {R} ^ n：p ^ Tx \ leq 0、\ forall x \ in S_2 \ right \} $

$ S_1 \ subseteq S_2 \ Rightarrow \ forall x \ in S_2 \ Rightarrow \ forall x \ in S_1 $以降

したがって、$ \ hat \ {p} \ in S_2 ^* の場合、$ then $ \ hat \ {p} ^ Tx \ leq 0、\ forall x \ in S_2 $

$ \ Rightarrow \ hat \ {p} ^ Tx \ leq 0、\ forall x \ in S_1 $

$ \ Rightarrow \ hat \ {p} ^ T \ in S_1 ^ *$

$ \ Rightarrow S_2 ^* \ subseteq S_1 ^ *$

定理

Cを空でない閉じた凸コーンとし、$ C = C ^* * $とする

証明

$ C = C ^ \ {**} $前の補題による。

証明するには：$ x \ in C ^ \ {**} \ subseteq C $

$ x \ in C ^ \ {**} $とし、$ x \ notin C $とします

次に、基本的な分離定理により、ベクトル$ p \ neq 0 $とスカラー$ \ alpha $が存在し、$ p ^ Ty \ leq \ alpha、\ forall y \ in C $

したがって、$ p ^ Tx> \ alpha $

しかし、$ \ left（y = 0 \ right）\ in C $および$ p ^ Ty \ leq \ alphaなので、\ forall y \ in C \ Rightarrow \ alpha \ geq 0 $および$ p ^ Tx> 0 $

$ p \ notin C ^ *$の場合、$ p ^ T \ bar \ {y}> 0 $および$ p ^ T \ left（\ lambdaのような$ \ bar \ {y} \ in C $が存在します。 \ bar \ {y} \ right）$は、$ \ lambda $を十分に大きくすることにより、任意に大きくすることができます。

これは、$ p ^ Ty \ leq \ alpha、\ forall y \ in C $

したがって、$ p \ in C ^* $

$ x \ in C ^ = \ left \\ {q：q ^ Tp \ leq 0なので、\ forall p \ in C ^ \ right \} $

したがって、$ x ^ Tp \ leq 0 \ Rightarrow p ^ Tx \ leq 0 $

しかし、$ p ^ Tx> \ alpha $

したがって、矛盾です。

したがって、$ x \ in C $

したがって、$ C = C ^ \ {**} $です。

凸最適化-円錐の組み合わせ

$ \ alpha_1x_1 + \ alpha_2x_2 + …​. + \ alpha_nx_n $と$ \ alpha_1、\ alpha_2、…​、\ alpha_n \ geq 0 $の形式の点は、$ x_1、x_2、…​の円錐組み合わせと呼ばれます。 x_n。$

• $ x_i $が凸円錐Cにある場合、$ x_i $のすべての円錐の組み合わせもCにあります。
• 集合Cは、要素のすべての円錐の組み合わせを含む場合、凸円錐です。

コニックハル

円錐ハルは、特定のセットSのすべての円錐の組み合わせのセットとして定義され、coni（S）で示されます。

したがって、$ coni \ left（S \ right）= \ left \\ {\ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i：x_i \ in S、\ lambda_i \ in \ mathbb \ {R}、 \ lambda_i \ geq 0、i = 1,2、…​ \ right \} $

• 円錐包は凸集合です。
• 原点は常に円錐殻に属します。

凸最適化-多面体セット

$ \ mathbb \ {R} ^ n $の集合は、有限数の閉じた半空間の交差点である場合、多面体と呼ばれます。

$ S = \ left \\ {x \ in \ mathbb \ {R} ^ n：p _ \ {i} ^ \ {T} x \ leq \ alpha_i、i = 1,2、…​.、n \ right \} $

例えば、

• $ \ left \\ {x \ in \ mathbb \ {R} ^ n：AX = b \ right \} $
• $ \ left \\ {x \ in \ mathbb \ {R} ^ n：AX \ leq b \ right \} $
• $ \ left \\ {x \ in \ mathbb \ {R} ^ n：AX \ geq b \ right \} $

多面体コーン

$ \ mathbb \ {R} ^ n $の集合は、原点を含む有限数の半空間の交点、つまり$ S = \ left \\ {x \ in \である場合、多面体円錐と呼ばれますmathbb \ {R} ^ n：p _ \ {i} ^ \ {T} x \ leq 0、i = 1、2、…​ \ right \} $

ポリトープ

ポリトープは、有界の多面体セットです。

備考

• ポリトープは、点の有限集合の凸包です。
• 多面体の円錐は、ベクトルの有限セットによって生成されます。
• 多面体セットは閉じたセットです。
• 多面体集合は凸集合です。

凸集合の極点

Sを$ \ mathbb \ {R} ^ n $の凸集合とします。 ベクトル$ x \ in S $は、$ x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $と$ x_1、x_2 \ in S $、および$ \ lambda \の場合、Sの極点と呼ばれますin \ left（0、1 \ right）\ Rightarrow x = x_1 = x_2 $

例

• ステップ1 *-$ S = \ left \\ {\ left（x_1、x_2 \ right）\ in \ mathbb \ {R} ^ 2：x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ {2} \ leq 1 \ right \} $

極値、$ E = \ left \\ {\ left（x_1、x_2 \ right）\ in \ mathbb \ {R} ^ 2：x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ { 2} = 1 \ right \} $

• ステップ2 *-$ S = \ left \\ {\ left（x_1、x_2 \ right）\ in \ mathbb \ {R} ^ 2：x_1 + x_2 <2、-x_1 + 2x_2 \ leq 2、x_1、x_2 \ geq 0 \ right \} $

極値、$ E = \ left \\ {\ left（0、0 \ right）、\ left（2、0 \ right）、\ left（0、1 \ right）、\ left（\ frac \ {2} \ {3}、\ frac \ {4} \ {3} \ right）\ right \} $

• ステップ3 *-Sは、点$ \ left \\ {\ left（0,0 \ right）、\ left（1,1 \ right）、\ left（1,3 \ right）、\左（-2,4 \ right）、\ left（0,2 \ right）\ right \} $

極値、$ E = \ left \\ {\ left（0,0 \ right）、\ left（1,1 \ right）、\ left（1,3 \ right）、\ left（-2,4 \ right ）\ right \} $

備考

• 凸集合Sの任意の点は、その極点の凸の組み合わせとして表すことができます。
• これは、$ \ mathbb \ {R} ^ n $の閉じたセットと境界のあるセットにのみ当てはまります。
• 無制限セットには当てはまらない場合があります。

k極値

凸集合内の点は、S内のk次元凸集合の内部点であり、S内の（k + 1）次元凸集合の内部点ではない場合に限り、k極値と呼ばれます。 基本的に、凸集合Sの場合、k個の極点がk次元の開いた面を作成します。

凸最適化-方向

Sを$ \ mathbb \ {R} ^ n $の閉じた凸集合とします。 ゼロでないベクトル$ d \ in \ mathbb \ {R} ^ n $は、各$ x \ in S、x + \ lambda d \ in S、\ forall \ lambda \ geq 0. $の場合、Sの方向と呼ばれます。

• Sの$ d_1 $と$ d_2 $の2つの方向は、$ \ alpha> 0 $に対して$ d \ neq \ alpha d_2 $の場合に別個と呼ばれます。
• $ S $の方向$ d $は、2つの異なる方向の正の線形結合として書き込めない場合、つまり、$ \ lambda _1に対して$ d = \ lambda _1d_1 + \ lambda _2d_2 $の場合、極端な方向と呼ばれます。ラムダ_2> 0 $、次に$ d_1 = \ alpha d_2 $をいくつかの$ \ alpha $に対して。
• その他の方向は、極端な方向の正の組み合わせとして表すことができます。
• 凸集合$ S $の場合、一部の$ x \ in S $の$ x + \ lambda d \ in S $およびすべての$ \ lambda \ geq0 $のような方向dは、$ S $の*劣性*と呼ばれます。
• Eを、$ \ mathbb \ {R} ^ n $の非空の凸集合S上の特定の関数$ f：S \ rightarrow $が最大値に達する点の集合とし、$ E $を露出面と呼びます$ S $。 露出面の方向は露出方向と呼ばれます。
• 方向が極端な方向である光線は、極端光線と呼ばれます。

例

関数$ f \ left（x \ right）= y = \ left | x \ right | $を考えます。ここで、$ x \ in \ mathbb \ {R} ^ n $です。 dを$ \ mathbb \ {R} ^ n $の単位ベクトルとする

次に、dは関数fの方向です。これは、$ \ lambda \ geq 0の場合、x + \ lambda d \ in f \ left（x \ right）$であるためです。 Convex-optimization-convex-concave-function

凸最適化-ジェンセンの不等式

Sを$ \ mathbb \ {R} ^ n $および$ f：S \ rightarrow \ mathbb \ {R} ^ n $の空でない凸集合とします。 そして、各整数$ k> 0 $の場合に限り、fは凸です

$ x_1、x_2、…​ x_k \ in S、\ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_i = 1、\ lambda_i \ geq 0、\ forall i = 1,2、s、k $ 、$ f \ left（\ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i \ right）\ leq \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda _if \ left（x \ right）$

証明

kの帰納法による。

$ k = 1：x_1 \ in S $したがって$ f \ left（\ lambda_1 x_1 \ right）\ leq \ lambda_i f \ left（x_1 \ right）$ $ \ lambda_i = 1 $であるため。

$ k = 2：\ lambda_1 + \ lambda_2 = 1 $および$ x_1、x_2 \ in S $

したがって、$ \ lambda_1x_1 + \ lambda_2x_2 \ in S $

したがって、定義により、$ f \ left（\ lambda_1 x_1 + \ lambda_2 x_2 \ right）\ leq \ lambda _1f \ left（x_1 \ right）+ \ lambda _2f \ left（x_2 \ right）$

ステートメントが$ n <k $について真であるとする

したがって、

$ f \ left（\ lambda_1 x_1 + \ lambda_2 x_2 + …​. + \ lambda_k x_k \ right）\ leq \ lambda_1 f \ left（x_1 \ right）+ \ lambda_2 f \ left（x_2 \ right）+ …​ + \ lambda_k f \ left（x_k \ right）$

$ k = n + 1：$ $ x_1、x_2、…​. x_n、x _ \ {n + 1} \ in S $および$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ \ {n + 1} = 1 $

したがって、$ \ mu_1x_1 + \ mu_2x_2 + …​…​. + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ in S $

したがって、$ f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）$

$ = f \ left（\ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）\ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + \ mu_3} + \ mu_ \ {n + 1} x _ \ {n + 1} \ right）$

$ = f \ left（\ mu_y + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）$ここで$ \ mu = \ mu_1 + \ mu_2 + …​ + \ mu_n $および

$ y = \ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} $および$ \ mu_1 + \ mu _ \ {n + 1} = 1、y \ S $

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ mu f \ left（y \ right）+ \ mu_ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq $

$ \ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）f \ left（\ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} \ right）+ \ mu _ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）$

$ \ left [\ frac \ {\ mu_1} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} f \ left（x_1 \ right）+ …​ + \ frac \ {\ mu_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} f \ left（x_n \ right）\ right] + \ mu _ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ mu_1f \ left（x_1 \ right）+ \ mu_2f \左（x_2 \ right）+ …​. $

したがって、実証済み。

凸最適化-微分可能関数

Sを$ \ mathbb \ {R} ^ n $の空でないオープンセットとすると、$ f：S \ rightarrow \ mathbb \ {R} $は$ \ hat \ {x} \ inで微分可能と言われます。 S $が存在する場合は、ベクトル$ \ bigtriangledown f \ left（\ hat \ {x} \ right）$と呼ばれる勾配ベクトルと関数$ \ alpha：\ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R}そのような

$ f \ left（x \ right）= f \ left（\ hat \ {x} \ right）+ \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T \ left（x- \ hat \ { x} \ right）+ \ left \ | x = \ hat \ {x} \ right \ | \ alpha \ left（\ hat \ {x}、x- \ hat \ {x} \ right）、\ forall x \ in S $ここで

$ \ alpha \ left（\ hat \ {x}、x- \ hat \ {x} \ right）\ rightarrow 0 \ bigtriangledown f \ left（\ hat \ {x} \ right）= \ left [\ frac \ { \ partial f} \ {\ partial x_1} \ frac \ {\ partial f} \ {\ partial x_2} …​ \ frac \ {\ partial f} \ {\ partial x_n} \ right] _ \ {x = \ hat \ {x}} ^ \ {T} $

定理

Sを$ \ mathbb \ {R} ^ n $の空でないオープン凸セットとし、Sで$ f：S \ rightarrow \ mathbb \ {R} $を微分可能にします。 次に、fが凸であるのは、$ x_1、x_2 \ in S、\ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）- f \ left（x_2 \ right）$

証明

fを凸関数とする。 つまり、$ x_1、x_2 \ in S、\ lambda \ in \ left（0、1 \ right）$の場合

$ f \ left [\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right] \ leq \ lambda f \ left（x_1 \ right）+ \ left（1- \ lambda \ right）f \ left（x_2 \ right）$

$ \ Rightarrow f \ left [\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right] \ leq \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right ）+ f \ left（x_2 \ right）$

$ \ Rightarrow \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right）\ geq f \ left（x_2 + \ lambda \ left（x_1-x_2 \ right）\ right）- f \ left（x_2 \ right）$

$ \ Rightarrow \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right）\ geq f \ left（x_2 \ right）+ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ lambda + $

$ \ left \ | \ lambda \ left（x_1-x_2 \ right）\ right \ | \ alpha \ left（x_2、\ lambda \ left（x_1-x_2 \ right）-f \ left（x_2 \ right）\ right）$

ここで、$ \ alpha \ left（x_2、\ lambda \ left（x_1-x_2 \ right）\ right）\ rightarrow 0 $ as $ \ lambda \ rightarrow 0 $

両側で$ \ lambda $で割ると、次のようになります-

$ f \ left（x_1 \ right）-f \ left（x_2 \ right）\ geq \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）$

逆

$ x_1、x_2 \ in S、\ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）-f \ left（x_2 \ right） $

fが凸であることを示すため。

Sは凸であるため、$ x_3 = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S、\ lambda \ in \ left（0、1 \ right）$

したがって、$ x_1、x_3は\ S $であるため、

$ f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1 -x_3 \ right）$

$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-\ lambda x_1- \ left（1- \ lambda \ right）x_2 \ right）$

$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ left（1- \ lambda \ right）\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）$

以来、$ x_2、x_3 \ in S $

$ f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2-x_3 \ right）$

$ \ Rightarrow f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2- \ lambda x_1- \ left（1- \ lambda \ right）x_2 \ right）$

$ \ Rightarrow f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ left（-\ lambda \ right）\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \右）$

したがって、上記の方程式を組み合わせて、次のようになります-

$ \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_3 \ right）\ right）+ \ left（1- \ lambda \ right）\ left（f \ left（x_2 \ right）-f \ left（x_3 \ right）\ right）\ geq 0 $

$ \ Rightarrow f \ left（x_3 \ right）\ leq \ lambda f \ left（x_1 \ right）+ \ left（1- \ lambda \ right）f \ left（x_2 \ right）$

定理

Sを$ \ mathbb \ {R} ^ n $の空でない開いた凸集合とし、$ f：S \ rightarrow \ mathbb \ {R} $をSで微分可能にし、fがSで凸である場合のみif for $ x_1、x_2 \ in S、\ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $

証明

fを凸関数とし、前の定理を使用して-

$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）-f \ left（x_2 \ right）$および

$ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq f \ left（x_2 \ right）-f \ left（x_1 \ right）$

上記の2つの方程式を追加すると、次のようになります-

$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）+ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq 0 $

$ \ Rightarrow \ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_1-x_2 \ right）\ leq 0 $

$ \ Rightarrow \ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $

逆

$ x_1、x_2 \ in S、\ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $

fが凸であることを示すため。

$ x_1、x_2 \ in S $、したがって平均値定理により、$ \ frac \ {f \ left（x_1 \ right）-f \ left（x_2 \ right）} \ {x_1-x_2} = \ bigtriangledown f \ Sは凸集合なので、左（x \ right）、x \ in \ left（x_1-x_2 \ right）\ Rightarrow x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $

$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_2 \ right）= \ left（\ bigtriangledown f \ left（x \ right）^ T \ right）\ left（x_1-x_2 \ right）$

$ x、x_1 $については、知っています-

$ \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x-x_1 \ right）\ geq 0 $

$ \ Rightarrow \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2- x_1 \ right）\ geq 0 $

$ \ Rightarrow \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（1- \ lambda \ right）\ left（x_2-x_1 \ right ）\ geq 0 $

$ \ Rightarrow \ bigtriangledown f \ left（x \ right）^ T \ left（x_2-x_1 \ right）\ geq \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）$

上記の方程式を組み合わせると、次のようになります-

$ \ Rightarrow \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq f \ left（x_2 \ right）-f \ left（x_1 \ right）$

したがって、最後の定理を使用すると、fは凸関数です。

2回微分可能な関数

Sを$ \ mathbb \ {R} ^ n $の空でないサブセットとし、$ f：S \ rightarrow \ mathbb \ {R} $とすると、fは$ \ bar \ {x}で2階微分可能と言われます。 \ in S $ベクトル$ \ bigtriangledown f \ left（\ bar \ {x} \ right）、\：nXn $行列$ H \ left（x \ right）$（ヘッセ行列と呼ばれる）および関数が存在する場合$ \ alpha：\ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R} $ $ f \ left（x \ right）= f \ left（\ bar \ {x} + x- \ bar \ { x} \ right）= f \ left（\ bar \ {x} \ right）+ \ bigtriangledown f \ left（\ bar \ {x} \ right）^ T \ left（x- \ bar \ {x} \ right ）+ \ frac \ {1} \ {2} \ left（x- \ bar \ {x} \ right）H \ left（\ bar \ {x} \ right）\ left（x- \ bar \ {x} \ right）$

ここで$ \ alpha \ left（\ bar \ {x}、x- \ bar \ {x} \ right）\ rightarrow Oasx \ rightarrow \ bar \ {x} $

グローバルオプティマの十分かつ必要な条件

定理

fを2階微分可能な関数とします。 $ \ bar \ {x} $がローカルミニマムの場合、$ \ bigtriangledown f \ left（\ bar \ {x} \ right）= 0 $およびヘッセ行列$ H \ left（\ bar \ {x} \ right）$は正の半正定です。

証明

$ d \ in \ mathbb \ {R} ^ n $とします。 fは$ \ bar \ {x} $で2階微分可能であるため。

したがって、

$ f \ left（\ bar \ {x} + \ lambda d \ right）= f \ left（\ bar \ {x} \ right）+ \ lambda \ bigtriangledown f \ left（\ bar \ {x} \ right） ^ T d + \ lambda ^ 2d ^ TH \ left（\ bar \ {x} \ right）d + \ lambda ^ 2d ^ TH \ left（\ bar \ {x} \ right）d + $

$ \ lambda ^ 2 \ left \ | d \ right \ | ^ 2 \ beta \ left（\ bar \ {x}、\ lambda d \ right）$

ただし、$ \ bigtriangledown f \ left（\ bar \ {x} \ right）= 0 $および$ \ beta \ left（\ bar \ {x}、\ lambda d \ right）\ rightarrow 0 $ as $ \ lambda \ rightarrow 0 $

$ \ Rightarrow f \ left（\ bar \ {x} + \ lambda d \ right）-f \ left（\ bar \ {x} \ right）= \ lambda ^ 2d ^ TH \ left（\ bar \ {x} \ right）d $

$ \ bar \ {x} $は極小値であるため、$ f \ left（x \ right）\ leq f \ left（\ bar \ {x} + \ lambda d \ right）、\ forall \ lambda \ in \ left（0、\ delta \ right）$

定理

$ f：S \ rightarrow \ mathbb \ {R} ^ n $で、$ S \ subset \ mathbb \ {R} ^ n $をSで2階微分可能とします。 $ \ bigtriangledown f \ left（x \ right）= 0 $および$ H \ left（\ bar \ {x} \ right）$が正の半正である場合、すべての$ x \ in S $に対して$ \ bar \ {x} $はグローバルな最適解です。

証明

$ H \ left（\ bar \ {x} \ right）$は半正の正であるため、fはS上の凸関数です。 fは微分可能であり、$ \ bar \ {x} $で凸であるため

$ \ bigtriangledown f \ left（\ bar \ {x} \ right）^ T \ left（x- \ bar \ {x} \ right）\ leq f \ left（x \ right）-f \ left（\ bar \ {x} \ right）、\ forall x \ in S $

$ \ bigtriangledown f \ left（\ bar \ {x} \ right）= 0なので、f \ left（x \ right）\ geq f \ left（\ bar \ {x} \ right）$

したがって、$ \ bar \ {x} $はグローバルな最適値です。

定理

$ \ bar \ {x} \ in S $が問題$ f：S \ rightarrow \ mathbb \ {R} $の局所最適解であるとします。Sは$ \ mathbb \ {R} ^の空でないサブセットですn $およびSは凸です。 $ min \：f \ left（x \ right）$ここで、$ x \ in S $。

その後：

• $ \ bar \ {x} $はグローバルな最適なソリューションです。
• $ \ bar \ {x} $が厳密に局所的最小値であるか、fが厳密に凸関数である場合、$ \ bar \ {x} $は一意のグローバル最適解であり、強い局所的最小値でもあります。

証明

$ \ bar \ {x} $を、$ x \ neq \ bar \ {x} $および$ f \ left（\ bar \ {x} \ right）= f \ left（ \ hat \ {x} \ right）$

$ \ hat \ {x}、\ bar \ {x} \ in S $およびSは凸であるため、$ \ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ in S $とfは厳密に凸です。

$ \ Rightarrow f \ left（\ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ right）<\ frac \ {1} \ {2} f \ left（\ bar \ {x} \ right）+ \ frac \ {1} \ {2} f \ left（\ hat \ {x} \ right）= f \ left（\ hat \ {x} \ right）$

これは矛盾です。

したがって、$ \ hat \ {x} $は一意のグローバル最適ソリューションです。

帰結

$ f：S \ subset \ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R} $を微分可能な凸関数とし、$ \ phi \ neq S \ subset \ mathbb \ {R} ^ n $を凸とするセット。 問題$ min f \ left（x \ right）、x \ in S $を考慮し、$ \ bigtriangledown f \ left（\ bar \ {x} \ right）の場合、$ \ bar \ {x} $は最適なソリューションです^ T \ left（x- \ bar \ {x} \ right）\ geq 0、\ forall x \ in S. $

証明

$ \ bar \ {x} $が最適なソリューションであるとします。つまり、$ f \ left（\ bar \ {x} \ right）\ leq f \ left（x \ right）、\ forall x \ in S $

$ \ Rightarrow f \ left（x \ right）= f \ left（\ bar \ {x} \ right）\ geq 0 $

$ f \ left（x \ right）= f \ left（\ bar \ {x} \ right）+ \ bigtriangledown f \ left（\ bar \ {x} \ right）^ T \ left（x- \ bar \ { x} \ right）+ \ left \ | x- \ bar \ {x} \ right \ | \ alpha \ left（\ bar \ {x}、x- \ bar \ {x} \ right）$

ここで、$ \ alpha \ left（\ bar \ {x}、x- \ bar \ {x} \ right）\ rightarrow 0 $ as $ x \ rightarrow \ bar \ {x} $

$ \ Rightarrow f \ left（x \ right）-f \ left（\ bar \ {x} \ right）= \ bigtriangledown f \ left（\ bar \ {x} \ right）^ T \ left（x- \ bar \ {x} \ right）\ geq 0 $

帰結

fを$ \ bar \ {x} $で微分可能な凸関数とすると、$ \ bigtriangledown f \ left（\ bar \ {x} \ right）= 0 $の場合、$ \ bar \ {x} $はグローバルな最小値になります。

例

• $ f \ left（x \ right）= \ left（x ^ 2-1 \ right）^ \ {3}、x \ in \ mathbb \ {R} $。 + $ \ bigtriangledown f \ left（x \ right）= 0 \ Rightarrow x = -1,0,1 $。 + $ \ bigtriangledown ^ 2f \ left（\ pm 1 \ right）= 0、\ bigtriangledown ^ 2 f \ left（0 \ right）= 6> 0 $。 + $ f \ left（\ pm 1 \ right）= 0、f \ left（0 \ right）=-1 $ +したがって、$ f \ left（x \ right）\ geq -1 = f \ left（0 \ right）\ Rightarrow f \ left（0 \ right）\ leq f \ left（x \ right）\ forall x \ in \ mathbb \ {R} $
• $ f \ left（x \ right）= x \ log x $は$ S = \ left \\ {x \ in \ mathbb \ {R}、x> 0 \ right \} $で定義されています。 + $ \ {f} 'x = 1 + \ log x $ + $ \ {f}' 'x = \ frac \ {1} \ {x}> 0 $ +したがって、この関数は厳密に凸です。
• $ f \ left（x \ right）= e ^ \ {x}、x \ in \ mathbb \ {R} $は厳密に凸です。

準凸および準凹関数

$ f：S \ rightarrow \ mathbb \ {R} $とします。ここで、$ S \ subset \ mathbb \ {R} ^ n $は空でない凸集合です。 関数fは、各$ x_1、x_2 \ in S $に対して$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ leq max \ left \がある場合、準凸であると言われます\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \}、\ lambda \ in \ left（0、1 \ right）$

たとえば、$ f \ left（x \ right）= x ^ \ {3} $

$ f：S \ rightarrow R $とします。ここで、$ S \ subset \ mathbb \ {R} ^ n $は空でない凸集合です。 関数fは、各$ x_1、x_2 \ in S $に$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ geq min \ left \がある場合、準凸であると言われます\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \}、\ lambda \ in \ left（0、1 \ right）$

備考

• すべての凸関数は準凸ですが、逆は当てはまりません。
• 準凸と準凹の両方である関数は、準単調と呼ばれます。

定理

$ f：S \ rightarrow \ mathbb \ {R} $で、Sが$ \ mathbb \ {R} ^ n $の空でない凸集合であるとします。 関数fは、$ S _ \ {\ alpha} = \ left（x \ in S：f \ left（x \ right）\ leq \ alpha \ right \} $が各実数\ alphaに対して凸である場合に限り、準凸です。 $

証明

fをSの準凸とする

$ x_1、x_2 \ in S _ \ {\ alpha} $したがって、$ x_1、x_2 \ in S $および$ max \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \} \ leq \ alpha $

$ \ lambda \ in \ left（0、1 \ right）$とし、$ x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ leq max \ left \\ {f \ left（x_1 \ right ）、f \ left（x_2 \ right）\ right \} \右矢印x \ in S $

したがって、$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ leq max \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\右\} \ leq \ alpha $

したがって、$ S _ \ {\ alpha} $は凸です。

逆

$ S _ \ {\ alpha} $が各$ \ alpha $に対して凸であるとします

$ x_1、x_2 \ in S、\ lambda \ in \ left（0,1 \ right）$

$ x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $

$ x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $とする

$ x_1、x_2 \ in S _ \ {\ alpha}、\ alpha = max \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \} $の場合

$ \ Rightarrow \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S _ \ {\ alpha} $

$ \ Rightarrow f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ leq \ alpha $

したがって証明した。

定理

$ f：S \ rightarrow \ mathbb \ {R} $で、Sが$ \ mathbb \ {R} ^ n $の空でない凸集合であるとします。 関数fは、$ S _ \ {\ alpha} = \ left \\ {x \ in S：f \ left（x \ right）\ geq \ alpha \ right \} $が各実数に対して凸である場合にのみ、準凹です$ \ alpha $。

定理

$ f：S \ rightarrow \ mathbb \ {R} $で、Sが$ \ mathbb \ {R} ^ n $の空でない凸集合であるとします。 関数fは、$ S _ \ {\ alpha} = \ left \\ {x \ in S：f \ left（x \ right）= \ alpha \ right \} $が各実数$に対して凸である場合にのみ準単調です\ alpha $。

微分可能な準凸関数

定理

Sを$ \ mathbb \ {R} ^ n $の非空の凸集合とし、$ f：S \ rightarrow \ mathbb \ {R} $をSで微分可能にし、任意の$ x_1の場合に限りfを準凸にします。 、x_2 \ in S $および$ f \ left（x_1 \ right）\ leq f \ left（x_2 \ right）$、$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_2-x_1 \右）\ leq 0 $

証明

fを準凸関数とする。

$ x_1、x_2 \ in S $を$ f \ left（x_1 \ right）\ leq f \ left（x_2 \ right）$とする

$ x_2でのfの微分可能性により、\ lambda \ in \ left（0、1 \ right）$

$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）= f \ left（x_2 + \ lambda \ left（x_1-x_2 \ right）\ right）= f \ left（x_2 \ right ）+ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）$

$ + \ lambda \ left \ | x_1-x_2 \ right \ | \ alpha \ left（x_2、\ lambda \ left（x_1-x_2 \ right）\ right）$

$ \ Rightarrow f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）-f \ left（x_2 \ right）-f \ left（x_2 \ right）= \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）$

$ + \ lambda \ left \ | x_1-x_2 \ right \ | \ alpha \ left（x2、\ lambda \ left（x_1-x_2 \ right）\ right）$

ただし、fは準凸であるため、$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ leq f \ left（x_2 \ right）$

$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）+ \ lambda \ left \ | x_1-x_2 \ right \ | \ alpha \ left（x_2、\ lambda \ left（x_1、x_2 \ right）\ right）\ leq 0 $

しかし、$ \ alpha \ left（x_2、\ lambda \ left（x_1、x_2 \ right）\ right）\ rightarrow 0 $ as $ \ lambda \ rightarrow 0 $

したがって、$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq 0 $

逆

$ x_1、x_2 \ in S $および$ f \ left（x_1 \ right）\ leq f \ left（x_2 \ right）$、$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1、 x_2 \ right）\ leq 0 $

fが準凸であることを示すために、つまり$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）\ leq f \ left（x_2 \ right）$

矛盾による証明

ある$ \ lambda \ inに対して$ f_left（x_2 \ right）<f \ left（x_3 \ right）$となる$ x_3 = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $が存在すると仮定\ left（0、1 \ right）$

$ x_2 $および$ x_3の場合、\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2-x_3 \ right）\ leq 0 $

$ \ Rightarrow-\ lambda \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2-x_3 \ right）\ leq 0 $

$ \ Rightarrow \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）\ geq 0 $

$ x_1 $および$ x_3、\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_3 \ right）\ leq 0 $の場合

$ \ Rightarrow \ left（1- \ lambda \ right）\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）\ leq 0 $

$ \ Rightarrow \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）\ leq 0 $

したがって、上記の方程式から、$ \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）= 0 $

定義$ U = \ left \\ {x：f \ left（x \ right）\ leq f \ left（x_2 \ right）、x = \ mu x_2 + \ left（1- \ mu \ right）x_3、\ mu \ in \ left（0,1 \ right）\ right \} $

したがって、$ x_0 = \ mu_0 x_2 = \ mu x_2 + \ left（1- \ mu \ right）x_3 $が$ \ mu _0 \ in \ left（0,1 \ rightとなるような$ x_0 \ in U $を見つけることができます。 ）$ x_3 $および$ \ hat \ {x}に最も近い\ in \ left（x_0、x_1 \ right）$平均値定理により、

\ frac \ {f \ left（x_3 \ right）-f \ left（x_0 \ right）} \ {x_3-x_0} = \ bigtriangledown f \ left（\ hat \ {x} \ right）

\ Rightarrow f \ left（x_3 \ right）= f \ left（x_0 \ right）+ \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T \ left（x_3-x_0 \ right）

\ Rightarrow f \ left（x_3 \ right）= f \ left（x_0 \ right）+ \ mu_0 \ lambda f \ left（\ hat \ {x} \ right）^ T \ left（x_1-x_2 \ right）

$ x_0 $は$ x_1 $と$ x_2 $と$ f \ left（x_2 \ right）<f \ left（\ hat \ {x} \ right）$の組み合わせであるため

開始手順を繰り返すことにより、$ \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T \ left（x_1-x_2 \ right）= 0 $

したがって、上記の方程式を組み合わせると、次のようになります。

f \ left（x_3 \ right）= f \ left（x_0 \ right）\ leq f \ left（x_2 \ right）

\右矢印f \ left（x_3 \ right）\ leq f \ left（x_2 \ right）

したがって、それは矛盾です。

例

• ステップ1 *-$ f \ left（x \ right）= X ^ 3 $

$ Let f \ left（x_1 \ right）\ leq f \ left（x_2 \ right）$

$ \ Rightarrow x _ \ {1} ^ \ {3} \ leq x _ \ {2} ^ \ {3} \ Rightarrow x_1 \ leq x_2 $

$ \ bigtriangledown f \ left（x_2 \ right）\ left（x_1-x_2 \ right）= 3x _ \ {2} ^ \ {2} \ left（x_1-x_2 \ right）\ leq 0 $

したがって、$ f \ left（x \ right）$は準凸です。

• ステップ2 *-$ f \ left（x \ right）= x _ \ {1} ^ \ {3} + x _ \ {2} ^ \ {3} $

$ \ hat \ {x_1} = \ left（2、-2 \ right）$および$ \ hat \ {x_2} = \ left（1、0 \ right）$とする

したがって、$ f \ left（\ hat \ {x_1} \ right）= 0、f \ left（\ hat \ {x_2} \ right）= 1 \ Rightarrow f \ left（\ hat \ {x_1} \ right）\ setminus <f \ left（\ hat \ {x_2} \ right）$

したがって、$ \ bigtriangledown f \ left（\ hat \ {x_2} \ right）^ T \ left（\ hat \ {x_1}-\ hat \ {x_2} \ right）= \ left（3、0 \ right）^ T \ left（1、-2 \ right）= 3> 0 $

したがって、$ f \ left（x \ right）$は準凸ではありません。

厳密に準凸関数

$ f：S \ rightarrow \ mathbb \ {R} ^ n $およびSを$ \ mathbb \ {R} ^ n $の空でない凸集合とすると、各$ x_1に対してfは厳密にquasicovex関数と呼ばれます、x_2 \ in S $ with $ f \ left（x_1 \ right）\ neq f \ left（x_2 \ right）$、$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）<max \：\ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \} $

備考

• すべての厳密な準凸関数は厳密に凸です。
• 厳密に準凸関数は、準凸を意味しません。
• 厳密な準凸関数は、強い準凸ではない場合があります。
• 疑似凸関数は、厳密に準凸関数です。

定理

$ f：S \ rightarrow \ mathbb \ {R} ^ n $を厳密に準凸関数にし、Sを$ \ mathbb \ {R} ^ n $の空でない凸集合とします。問題を考慮してください：$ min \：f \ left（x \ right）、x \ in S $。 $ \ hat \ {x} $がローカル最適ソリューションである場合、$ \ bar \ {x} $はグローバル最適ソリューションです。

証明

$ f \ left（\ bar \ {x} \ right）\ leq f \ left（\ hat \ {x} \ right）$となるような$ \ bar \ {x} \ in S $が存在するものとします

$ \ bar \ {x}、\ hat \ {x} \ in S $およびSは凸集合なので、したがって、

\ lambda \ bar \ {x} + \ left（1- \ lambda \ right）\ hat \ {x} \ in S、\ forall \ lambda \ in \ left（0,1 \ right）

$ \ hat \ {x} $は極小値なので、$ f \ left（\ hat \ {x} \ right）\ leq f \ left（\ lambda \ bar \ {x} + \ left（1- \ lambda \ right）\ hat \ {x} \ right）、\ forall \ lambda \ in \ left（0、\ delta \ right）$

fは厳密に準凸であるため。

f \ left（\ lambda \ bar \ {x} + \ left（1- \ lambda \ right）\ hat \ {x} \ right）<max \ left \\ {f \ left（\ hat \ {x } \ right）、f \ left（\ bar \ {x} \ right）\ right \} = f \ left（\ hat \ {x} \ right）

したがって、それは矛盾です。

厳密に準凹の関数

$ f：S \ rightarrow \ mathbb \ {R} ^ n $とSを$ \ mathbb \ {R} ^ n $の空でない凸集合とすると、fは$ごとに厳密に準シベックス関数となるx_1、x_2 \ in S $ with $ f \ left（x_1 \ right）\ neq f \ left（x_2 \ right）$、

f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）> min \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \ } 。

例

• $ f \ left（x \ right）= x ^ 2-2 $ +これは厳密に準凸関数です。なぜなら、定義$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ rightの制約を満たすドメイン内の任意の2点$ x_1、x_2 $を取る場合）<max \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \} $関数は負のx軸で減少し、正のx軸で増加しているため、軸（放物線なので）。
• $ f \ left（x \ right）=-x ^ 2 $ +これは厳密な準凸関数ではありません。なぜなら、$ x_1 = 1 $と$ x_2 = -1 $と$ \ lambda = 0.5 $をとると、$ f \ left（x_1 \ right）=-1 = f \ left （x_2 \ right）$ but $ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）= 0 $したがって、定義に記載されている条件を満たしていません。 ただし、定義内の制約を満たすドメイン内の任意の2点を取得すると、$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）> min \ left \ \ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \} $。 関数は負のx軸で増加し、正のx軸で減少します。

強い準凸関数

$ f：S \ rightarrow \ mathbb \ {R} ^ n $およびSを$ \ mathbb \ {R} ^ n $の空でない凸集合とすると、$ x_1、x_2の場合、fは強い準凸関数になります\ S $に$ \ left（x_1 \ right）\ neq \ left（x_2 \ right）$がある場合、$ f \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right）<max \ ：\ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \}、\ forall \ lambda \ in \ left（0,1 \ right）$

定理

$ \ mathbb \ {R} ^ n $の空でない凸集合S上の準凸関数$ f：S \ rightarrow \ mathbb \ {R} ^ n $は、線分上で定数でない場合、強く準凸関数です。 Sの任意のポイントに参加する

証明

fを準凸関数とし、Sの任意の点を結ぶ線分上で一定ではないとします。

fが強い準凸関数ではないと仮定します。

次のような$ x_1 \ neq x_2 $を持つ$ x_1、x_2 \ in S $が存在します

f \ left（z \ right）\ geq max \ left \\ {f \ left（x_1 \ right）、f \ left（x_2 \ right）\ right \}、\ forall z = \ lambda x_1 + \ left（ 1- \ lambda \ right）x_2、\ lambda \ in \ left（0,1 \ right）

$ \ Rightarrow f \ left（x_1 \ right）\ leq f \ left（z \ right）$および$ f \ left（x_2 \ right）\ leq f \ left（z \ right）$

fは$ \ left [x_1、z \ right] $および$ \ left [z、x_2 \ right] $で一定ではないため

したがって、$ u \ in \ left [x_1、z \ right] $および$ v = \ left [z、x_2 \ right] $が存在します。

\ Rightarrow u = \ mu_1x_1 + \ left（1- \ mu_1 \ right）z、v = \ mu_2z + \ left（1- \ mu_2 \ right）x_2

fは準凸であるため、

\ Rightarrow f \ left（u \ right）\ leq max \ left \\ {f \ left（x_1 \ right）、f \ left（z \ right）\ right \} = f \ left（z \ right） \：\：および\：\：f \ left（v \ right）\ leq max \ left \\ {f \ left（z \ right）、f \ left（x_2 \ right）\ right \}

$$ \ Rightarrow f \ left（u \ right）\ leq f \ left（z \ right）\：\：および\：\：f \ left（v \ right）\ leq f \ left（z \ right）$ $

\ Rightarrow max \ left \\ {f \ left（u \ right）、f \ left（v \ right）\ right \} \ leq f \ left（z \ right）

ただし、zはuとvの間の任意の点であり、それらのいずれかが等しい場合、fは定数です。

したがって、$ max \ left \\ {f \ left（u \ right）、f \ left（v \ right）\ right \} \ leq f \ left（z \ right）$

これは、fの準凸性が$ z \ in \ left [u、v \ right] $であることに矛盾します。

したがって、fは強い準凸関数です。

定理

$ f：S \ rightarrow \ mathbb \ {R} ^ n $とSを$ \ mathbb \ {R} ^ n $の空でない凸集合とします。 $ \ hat \ {x} $がローカル最適ソリューションである場合、$ \ hat \ {x} $は一意のグローバル最適ソリューションです。

証明

強い準凸関数は厳密に準凸関数でもあるため、局所最適解はグローバル最適解です。

一意性-fが2点でグローバルな最適解を得るようにします$ u、v \ in S $

\ Rightarrow f \ left（u \ right）\ leq f \ left（x \ right）。\ forall x \ in S \：\：および\：\：f \ left（v \ right）\ leq f \左（x \ right）。\ forall x \ in S

uがグローバル最適解の場合、$ f \ left（u \ right）\ leq f \ left（v \ right）$および$ f \ left（v \ right）\ leq f \ left（u \ right）\ Rightarrow f \ left（u \ right）= f \ left（v \ right）$

f \ left（\ lambda u + \ left（1- \ lambda \ right）v \ right）<max \ left \\ {f \ left（u \ right）、f \ left（v \ right）\ right \ } = f \ left（u \ right）

これは矛盾です。

したがって、グローバル最適ソリューションは1つしか存在しません。

備考

• 強い準凸関数も厳密に準凸関数です。
• 厳密な凸関数は、強い準凸である場合とそうでない場合があります。
• 微分可能な厳密な凸は、強い準凸です。

擬似凸関数

$ f：S \ rightarrow \ mathbb \ {R} $を微分可能な関数とし、Sを$ \ mathbb \ {R} ^ n $の空でない凸集合とし、各$に対してfを擬似凸と呼ぶx_1、x_2 \ in S $ with $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $、$ f \ left（x_2 \ right）\ geq f \ left（x_1 \ right）$、または同等の場合$ f \ left（x_1 \ right）> f \ left（x_2 \ right）$ then $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）<0 $

擬似凹関数

$ f：S \ rightarrow \ mathbb \ {R} $を微分可能な関数とし、Sを$ \ mathbb \ {R} ^ n $の空でない凸集合とし、各$に対してfを擬似凸と呼ぶx_1、x_2 \ in S $ with $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $、$ f \ left（x_2 \ right）\ leq f \ left（x_1 \ right）$、または同等の場合$ f \ left（x_1 \ right）> f \ left（x_2 \ right）$ then $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）> 0 $

備考

• 関数が擬似凸面と擬似凹面の両方である場合は、擬似線形と呼ばれます。
• 微分可能な凸関数も疑似凸です。
• 擬似凸関数は凸型ではない場合があります。 例えば、 + $ f \ left（x \ right）= x + x ^ 3 $は凸ではありません。 If $ x_1 \ leq x_2、x _ \ {1} ^ \ {3} \ leq x _ \ {2} ^ \ {3} $ したがって、$ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2 -x_1 \ right）= \ left（1 + 3x _ \ {1} ^ \ {2} \ right）\ left（x_2-x_1 \ right）\ geq 0 $ +そして、$ f \ left（x_2 \ right）- f \ left（x_1 \ right）= \ left（x_2-x_1 \ right） \ left（x _ \ {2} ^ \ {3} -x _ \ {1} ^ \ {3} \ right）\ geq 0 $ + $ \ Rightarrow f \ left（x_2 \ right）\ geq f \ left（x_1 \ right）$ +したがって、これは擬似凸です。 +疑似凸関数は厳密に準凸です。 したがって、擬似凸のすべての局所最小値もグローバル最小値です。

厳密に擬似凸関数

$ f：S \ rightarrow \ mathbb \ {R} $を微分可能な関数とし、Sを$ \ mathbb \ {R} ^ n $の空でない凸集合とし、各$に対してfを擬似凸と呼ぶx_1、x_2 \ in S $ with $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $、$ f \ left（x_2 \ right）> f \ left （x_1 \ right）$、または同等の場合$ f \ left（x_1 \ right）\ geq f \ left（x_2 \ right）$ then $ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）<0 $

定理

fを擬似凸関数とし、S $の$ \ hat \ {x}に対して$ \ bigtriangledown f \ left（\ hat \ {x} \ right）= 0 $とし、次に$ \ hat \ {x} $とするS上のfのグローバルな最適解です。

証明

$ \ hat \ {x} $をfの臨界点、つまり$ \ bigtriangledown f \ left（\ hat \ {x} \ right）= 0 $とする

fは擬似凸関数なので、$ x \ in S、$に対して

\ bigtriangledown f \ left（\ hat \ {x} \ right）\ left（x- \ hat \ {x} \ right）= 0 \ Rightarrow f \ left（\ hat \ {x} \ right）\ leq f \ left（x \ right）、\ forall x \ in S

したがって、$ \ hat \ {x} $はグローバルな最適ソリューションです。

リマーク

fが厳密に擬似凸関数の場合、$ \ hat \ {x} $は一意のグローバル最適解です。

定理

fがS上の微分可能な擬似凸関数である場合、fは厳密に準凸関数であると同時に準凸関数でもあります。

備考

• $ \ mathbb \ {R} ^ n $のオープンセットSで定義された2つの擬似凸関数の合計は、擬似凸ではない場合があります。
• $ f：S \ rightarrow \ mathbb \ {R} $を準凸関数、Sを$ \ mathbb \ {R} ^ n $の空でない凸サブセットとすると、すべての臨界点がS上のfのグローバル最小値
• Sを$ \ mathbb \ {R} ^ n $の空でない凸サブセットとし、$ f：S \ rightarrow \ mathbb \ {R} $を$ \ bigtriangledown f \ left（x \ right）のような関数とするすべての$ x \ in S $に対して\ neq 0 $の場合、準凸関数である場合に限り、fは擬似凸です。

凸最適化-プログラミング問題

凸プログラミング問題の4種類があります-

• ステップ1 *-$ min \：f \ left（x \ right）$、ここで$ x \ in S $とSは$ \ mathbb \ {R} ^ n $と$ f \の空でない凸集合left（x \ right）$は凸関数です。

• ステップ2 *-$ min \：f \ left（x \ right）、x \ in \ mathbb \ {R} ^ n $

$ g_i \ left（x \ right）\ geq 0、1 \ leq m_1 $および$ g_i \ left（x \ right）$は凸関数です。

$ g_i \ left（x \ right）\ leq 0、m_1 + 1 \ leq m_2 $および$ g_i \ left（x \ right）$は凹関数です。

$ g_i \ left（x \ right）= 0、m_2 + 1 \ leq m $および$ g_i \ left（x \ right）$は線形関数です。

ここで、$ f \ left（x \ right）$は凸関数です。

• ステップ3 *-$ max \：f \ left（x \ right）$ $ x \ in S $およびSは、$ \ mathbb \ {R} ^ n $および$ f \ leftの空でない凸集合（x \ right）$は凹関数です。

• ステップ4 *-$ min \：f \ left（x \ right）$、ここで$ x \ in \ mathbb \ {R} ^ n $は

$ g_i \ left（x \ right）\ geq 0、1 \ leq m_1 $および$ g_i \ left（x \ right）$は凸関数です。

$ g_i \ left（x \ right）\ leq 0、m_1 + 1 \ leq m_2 $および$ g_i \ left（x \ right）$は凹関数です。

$ g_i \ left（x \ right）= 0、m_2 + 1 \ leq m $および$ g_i \ left（x \ right）$は線形関数です。

ここで、$ f \ left（x \ right）$は凹関数です。

実現可能な方向の円錐

Sを$ \ mathbb \ {R} ^ n $の空ではないセットとし、$ \ hat \ {x}を\ in \：Closure \ left（S \ right）$とし、Sの実行可能な方向の円錐Dで示される$ \ hat \ {x} $は、$ D = \ left \\ {d：d \ neq 0、\ hat \ {x} + \ lambda d \ in S、\ lambda \ inとして定義されます。 \ left（0、\ delta \ right）、\ delta> 0 \ right \} $

ゼロ以外の各ベクトル$ d \ in D $は、実行可能方向と呼ばれます。

与えられた関数$ f：\ mathbb \ {R} ^ n \ Rightarrow \ mathbb \ {R} $に対して、$ \ hat \ {x} $での方向を改善する円錐はFで示され、

F = \ left \\ {d：f \ left（\ hat \ {x} + \ lambda d \ right）\ leq f \ left（\ hat \ {x} \ right）、\ forall \ lambda \ in \ left（0、\ delta \ right）、\ delta> 0 \ right \}

$ d \ in F $の各方向は、$ \ hat \ {x} $でのfの改善方向または下降方向と呼ばれます。

定理

必要条件

Sが$ \ mathbb \ {R} ^ n $の空でないセットである$ x \ in S $のような問題$ min f \ left（x \ right）$を考えます。 fがS $の$ \ hat \ {x} \ in点で微分可能であると仮定します。 $ \ hat \ {x} $がローカル最適解である場合、$ F_0 \ cap D = \ phi $ここで、$ F_0 = \ left \\ {d：\ bigtriangledown f \ left（\ hat \ {x} \ right ）^ T d <0 \ right \} $およびDは実行可能な方向の円錐です。

十分な条件

$ F_0 \ cap D = \ phi $ fが$ \ hat \ {x} $で擬似凸関数であり、$ \ hat \ {x}、N_ \ varepsilon \ left（\ hat \ {x}の近傍が存在する場合\ right）、\ varepsilon> 0 $（$ xの$ d = x- \ hat \ {x} \ in D $ \ in S \ cap N_ \ varepsilon \ left（\ hat \ {x} \ right） $、次に$ \ hat \ {x} $がローカル最適ソリューションです。

証明

必要条件

$ F_0 \ cap D \ neq \ phi $、つまり、$ d \ in F_0 \ cap D $が存在し、$ d \ in F_0 $および$ d \ in D $が存在するとします。

したがって、$ d \ in D $なので、$ \ hat \ {x} + \ lambda d \ in S、\ lambda \ in \ left（0、\ delta_1 \ right）などの$ \ delta_1> 0 $が存在します。

$ dがF_0 $なので、したがって$ \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T d <0 $

したがって、$ f \ left（\ hat \ {x} + \ lambda d \ right）<f \ left（\ hat \ {x} \ right）、\ forall \ lambda \となる$ \ delta_2> 0 $が存在しますin f \ left（0、\ delta_2 \ right）$

$ \ delta = min \ left \\ {\ delta_1、\ delta_2 \ right \} $とする

次に、$ \ hat \ {x} + \ lambda d \ in S、f \ left（\ hat \ {x} + \ lambda d \ right）<f \ left（\ hat \ {x} \ right）、\ forall \ lambda \ in f \ left（0、\ delta \ right）$

ただし、$ \ hat \ {x} $はローカル最適ソリューションです。

したがって、それは矛盾です。

したがって、$ F_0 \ cap D = \ phi $

十分な条件

$ F_0 \ cap D \ neq \ phi $ ndをfを擬似凸関数とする。

$ d = x- \ hat \ {x}、\ forall xとなるような$ \ hat \ {x}、N _ \ {\ varepsilon} \ left（\ hat \ {x} \ right）$の近傍が存在するとしよう\ in S \ cap N_ \ varepsilon \ left（\ hat \ {x} \ right）$

$ \ hat \ {x} $が局所的な最適解ではないとします。

したがって、$ \ bar \ {x} \ in S \ cap N_ \ varepsilon \ left（\ hat \ {x} \ right）$が存在し、$ f \ left（\ bar \ {x} \ right）<f \ left（\ hat \ {x} \ right）$

$ Sの仮定により\ cap N_ \ varepsilon \ left（\ hat \ {x} \ right）、d = \ left（\ bar \ {x}-\ hat \ {x} \ right）\ in D $

fの擬似凸により、

f \ left（\ hat \ {x} \ right）> f \ left（\ bar \ {x} \ right）\ Rightarrow \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T \ left （\ bar \ {x}-\ hat \ {x} \ right）<0

$ \ Rightarrow \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T d <0 $

$ \ Rightarrow d \ in F_0 $

したがって、$ F_0 \ cap D \ neq \ phi $

これは矛盾です。

したがって、$ \ hat \ {x} $はローカル最適ソリューションです。

次の問題を考慮してください：$ min \：f \ left（x \ right）$ $ x \ in X $など$ g_x \ left（x \ right）\ leq 0、i = 1,2、…​、 m $

$ f：X \ rightarrow \ mathbb \ {R}、g_i：X \ rightarrow \ mathbb \ {R} ^ n $およびXは$ \ mathbb \ {R} ^ n $のオープンセット

$ S = \ left \\ {x：g_i \ left（x \ right）\ leq 0、\ forall i \ right \} $とする

$ \ hat \ {x}をX $に、次に$ M = \ left \\ {1,2、…​、m \ right \} $とする

$ I = \ left \\ {i：g_i \ left（\ hat \ {x} \ right）= 0、i \ in M \ right \} $とする\ {x} $

$ J = \ left \\ {i：g_i \ left（\ hat \ {x} \ right）<0、i \ in M \ right \} $とする\ {x} $。

$ F_0 = \ left \\ {d \ in \ mathbb \ {R} ^ m：\ bigtriangledown f \ left（\ hat \ {x} \ right）^ T d <0 \ right \} $

$ G_0 = \ left \\ {d \ in \ mathbb \ {R} ^ m：\ bigtriangledown gI \ left（\ hat \ {x} \ right）^ T d <0 \ right \} $

または$ G_0 = \ left \\ {d \ in \ mathbb \ {R} ^ m：\ bigtriangledown gi \ left（\ hat \ {x} \ right）^ T d <0、\ forall i \ in I \ right \} $

補題

$ S = \ left \\ {x \ in X：g_i \ left（x \ right）\ leq 0、\ forall i \ in I \ right \} $で、Xが$ \ mathbb \の空でないオープンセットの場合{R} ^ n $。 $ \ hat \ {x} \ in S $と$ g_i $が$ \ hat \ {x}で異なり、i \ in I $で、$ i \ in J $が$ \ hatで連続する$ g_i $とします\ {x} $、次に$ G_0 \ subseteq D $。

証明

G_0 $に$ dを入れる

$ \ hat \ {x} \ in X $およびXはオープンセットであるため、$ \ lambda \の$ \ hat \ {x} + \ lambda d \ in X $となる$ \ delta_1> 0 $が存在します。 \ left（0、\ delta_1 \ right）$

また、$ g_ \ hat \ {x} <0 $および$ g_i $は$ \ hat \ {x}、\ forall i \ J $で連続しているため、$ \ delta_2> 0 $、$ g_i \ left（ \ hat \ {x} + \ lambda d \ right）<0、\ lambda \ in \ left（0、\ delta_2 \ right）$

$ d \ in G_0 $なので、したがって$ \ bigtriangledown g_i \ left（\ hat \ {x} \ right）^ T d <0、\ forall i \ in I $なので、$ \ delta_3> 0、g_i \が存在しますleft（\ hat \ {x} + \ lambda d \ right）<g_i \ left（\ hat \ {x} \ right）= 0 $、for $ \ lambda \ in \ left（0、\ delta_3 \ right）i \ in J $

$ \ delta = min \ left \\ {\ delta_1、\ delta_2、\ delta_3 \ right \} $

したがって、$ \ hat \ {x} + \ lambda d \ in X、g_i \ left（\ hat \ {x} + \ lambda d \ right）<0、i \ in M $

$ \ Rightarrow \ hat \ {x} + \ lambda d \ in S $

$ \右矢印d \ in D $

$ \ Rightarrow G_0 \ subseteq D $

したがって、実証済み。

定理

必要条件

$ f $と$ g_i、i \ in I $は、$ \ hat \ {x} \ in Sで異なり、$ g_j $は$ \ hat \ {x} \ in S $で連続しているとします。 $ \ hat \ {x} $が$ S $のローカル最小値である場合、$ F_0 \ cap G_0 = \ phi $です。

十分な条件

$ F_0 \ cap G_0 = \ phi $かつfが$ \ left（\ hat \ {x}、g_i 9x \ right）の擬似凸関数である場合、i \ in I $はいくつかの$ \ varepsilon $上の厳密な擬似凸関数です- $ \ hat \ {x} $の近傍、\ hat \ {x} $は局所的な最適解です。

備考

• $ \ hat \ {x} $を、$ \ bigtriangledown f \ left（\ hat \ {x} \ right）= 0 $、次に$ F_0 = \ phi $のような実行可能な点とします。 したがって、$ F_0 \ cap G_0 = \ phi $ですが、$ \ hat \ {x} $は最適なソリューションではありません
• ただし、$ \ bigtriangledown g \ left（\ hat \ {x} \ right）= 0 $の場合、$ G_0 = \ phi $、したがって$ F_0 \ cap G_0 = \ phi $
• 問題を考えてみましょう：$ g \ left（x \ right）= 0 $となるような最小$ f \ left（x \ right）$。 + $ g \ left（x \ right）= 0 $なので、$ g_1 \ left（x \ right）= g \ left（x \ right）<0 $および$ g_2 \ left（x \ right）=-g \ left（x \ right）\ leq 0 $。 + $ \ hat \ {x} \ S $にした後、$ g_1 \ left（\ hat \ {x} \ right）= 0 $および$ g_2 \ left（\ hat \ {x} \ right）= 0 $とする。 +しかし、$ \ bigtriangledown g_1 \ left（\ hat \ {x} \ right）=-\ bigtriangledown g_2 \ left（\ hat \ {x} \ right）$ +したがって、$ G_0 = \ phi $および$ F_0 \ cap G_0 = \ phi $。

凸最適化-フリッツジョン条件

必要条件

定理

次の問題を考慮してください-$ min f \ left（x \ right）$ $ x \ in X $（Xは$ \ mathbb \ {R} ^ n $のオープンセットで、$ g_i \ left（x \ right） ）\ leq 0、\ forall i = 1,2、…​. m $。

$ f：X \ rightarrow \ mathbb \ {R} $および$ g_i：X \ rightarrow \ mathbb \ {R} $とする

$ \ hat \ {x} $を実行可能なソリューションとし、fおよび$ g_i、i \ in I $を$ \ hat \ {x} $および$ g_iで微分可能とし、i \ in J $を$ \で連続させるhat \ {x} $。

$ \ hat \ {x} $が上記の問題をローカルで解決する場合、$ u_0、u_i \ in \ mathbb \ {R}、i \ in I $が存在し、$ u_0 \ bigtriangledown f \ left（\ hat \ { x} \ right）+ \ displaystyle \ sum \ limits _ \ {i \ in I} u_i \ bigtriangledown g_i \ left（\ hat \ {x} \ right）$ = 0

ここで、$ u_0、u_i \ geq 0、i \ in I $および$ \ left（u_0、u_I \ right）\ neq \ left（0,0 \ right）$

さらに、$ g_i、i \ in J $も$ \ hat \ {x} $で微分可能であれば、上記の条件は次のように記述できます-

$ u_0 \ bigtriangledown f \ left（\ hat \ {x} \ right）+ \ displaystyle \ sum \ limits _ \ {i = 1} ^ m u_i \ bigtriangledown g_i \ left（\ hat \ {x} \ right）= 0 $

$ u_ig_i \ left（\ hat \ {x} \ right）$ = 0

$ u_0、u_i \ geq 0、\ forall i = 1,2、…​.、m $

$ \ left（u_0、u \ right）\ neq \ left（0,0 \ right）、u = \ left（u_1、u_2、s、u_m \ right）\ in \ mathbb \ {R} ^ m $

備考

• $ u_i $はラグランジュ乗数と呼ばれます。
• $ \ hat \ {x} $が与えられた問題に対して実行可能であるという条件は、主実行可能条件と呼ばれます。
• 要件$ u_0 \ bigtriangledown f \ left（\ hat \ {x} \ right）+ \ displaystyle \ sum \ limits _ \ {i = 1} ^ m ui \ bigtriangledown g_i \ left（x \ right）= 0 $が呼び出されます二重実行可能条件。
• 条件$ u_ig_i \ left（\ hat \ {x} \ right）= 0、i = 1、2、…​ m $は、相補的なスラックネス条件と呼ばれます。 この条件には、$ u_i = 0、i \ in J $が必要です
• 主な実行可能条件、二重実行可能条件、および補完的なスラックネスを合わせて、フリッツ・ジョン条件と呼びます。

十分な条件

定理

$ \ hat \ {x} N_ \ varepsilon \ left（\ hat \ {x} \ right）の$ \ varepsilon $近傍が存在する場合、\ varepsilon> 0 $で、fが$ N_ \ varepsilon上の擬似凸である\ left（\ hat \ {x} \ right）\ cap S $および$ g_i、i \ in I $は、厳密に$ N_ \ varepsilon \ left（\ hat \ {x} \ right）\ cap S $上の擬似凸$ \ hat \ {x} $は、上記の問題に対するローカル最適ソリューションです。 fが$ \ hat \ {x} $で擬似凸であり、$ g_iである場合、i \ in I $は、厳密に擬似凸であり、$ \ hat \ {x}での準凸関数であり、\ hat \ {x} $はグローバル最適解です。上記の問題に。

例

• $ min \：f \ left（x_1、x_2 \ right）= \ left（x_1-3 \ right）^ 2 + \ left（x_2-2 \ right）^ 2 $ + $ x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ {2} \ leq 5、x_1 + 2x_2 \ leq 4、x_1、x_2 \ geq 0 $ And $ \ hat \ {x } = \ left（2,1 \ right）$ + $ g_1 \ left（x_1、x_2 \ right）= x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ {2} -5、 $ + $ g_2 \ left（x_1、x_2 \ right）= x_1 + 2x_2-4、$ + $ g_3 \ left（x_1、x_2 \ right）=-x_1 $および$ g_4 \ left（x_1、x_2 \ right）= -x_2 $。 したがって、上記の制約は次のように記述できます- $ g_1 \ left（x_1、x_2 \ right）\ leq 0、$ + $ g_2 \ left（x_1、x_2 \ right）\ leq 0、$ + $ g_3 \ left（ x_1、x_2 \ right）\ leq 0 $ and + $ g_4 \ left（x_1、x_2 \ right）\ leq 0 $したがって、$ I = \ left \\ {1,2 \ right \} $したがって、$ u_3 = 0、u_4 = 0 $ + $ \ bigtriangledown f \ left（\ hat \ {x} \ right）= \ left（2、-2 \ right）、\ bigtriangledown g_1 \ left（\ hat \ {x} \ right） = \ left（4,2 \ right）$および$ \ bigtriangledown g_2 \ left（\ hat \ {x} \ right）= \ left（1,2 \ right）$ したがって、これらの値をフリッツの最初の条件に入れる-ジョン条件、- $ u_0 = \ frac \ {3} \ {2} u_2、\：\：u_1 = \ frac \ {1} \ {2} u_2、$を取得し、$ u_2 = 1 $とします。したがって、$ u_0 = \ frac \ {3} \ {2}、\：\：u_1 = \ frac \ {1} \ {2} $ + Fritz Johnの条件は満たされます。
• $ min f \ left（x_1、x_2 \ right）=-x_1 $。 + $ x_2- \ left（1-x_1 \ right）^ 3 \ leq 0 $、+ $ -x_2 \ leq 0 $および$ \ hat \ {x} = \ left（1,0 \ right）$ + $ g_1 \ left（x_1、x_2 \ right）= x_2- \ left（1-x_1 \ right）^ 3 $、+ $ g_2 \ left（x_1、x_2 \ right）=-x_2 $ したがって、上記の制約は- $ g_1 \ left（x_1、x_2 \ right）\ leq 0、$ + $ g_2 \ left（x_1、x_2 \ right）\ leq 0、$ このように、$ I = \ left \\ {1 、2 \ right \} $ + $ \ bigtriangledown f \ left（\ hat \ {x} \ right）= \ left（-1,0 \ right）$ + $ \ bigtriangledown g_1 \ left（\ hat \ {x} \ right）= \ left（0,1 \ right）$および$ g_2 \ left（\ hat \ {x} \ right）= \ left（0、-1 \ right）$ +これらの値を最初の条件に入れるFritz-John条件の場合、次のようになります- $ u_0 = 0、\：\：u_1 = u_2 = a> 0 $ +したがって、Fritz John条件は満たされます。

Karush-Kuhn-Tucker最適性の必要条件

問題を考慮してください-

$ min \：f \ left（x \ right）$ $ x \ in X $（Xは$ \ mathbb \ {R} ^ n $および$ g_i \ left（x \ right）のオープンセット） leq 0、i = 1、2、…​、m $

$ S = \ left \\ {x \ in X：g_i \ left（x \ right）\ leq 0、\ forall i \ right \} $とする

$ \ hat \ {x} \ in S $とし、$ f $と$ g_i、i \ in I $を$ \ hat \ {x} $と$ g_iで微分可能とし、i \ in J $は$ \ hat \ {x} $。 さらに、$ \ bigtriangledown g_i \ left（\ hat \ {x} \ right）、i \ in I $は線形独立です。 $ \ hat \ {x} $が上記の問題をローカルで解決する場合、次のような$ u_i、i \ in I $が存在します。

$ \ bigtriangledown f \ left（x \ right）+ \ displaystyle \ sum \ limits _ \ {i \ in I} u_i \ bigtriangledown g_i \ left（\ hat \ {x} \ right）= 0 $、$ \：\： u_i \ geq 0、i \ in I $

$ g_i、i \ in J $も$ \ hat \ {x} $で微分可能です。 次に$ \ hat \ {x} $、次に

$ \ bigtriangledown f \ left（\ hat \ {x} \ right）+ \ displaystyle \ sum \ limits _ \ {i = 1} ^ m u_i \ bigtriangledown g_i \ left（\ hat \ {x} \ right）= 0 $

$ u_ig_i \ left（\ hat \ {x} \ right）= 0、\ forall i = 1,2、…​、m $

$ u_i \ geq 0 \ forall i = 1,2、…​、m $

例

次の問題を考慮してください-

$ min \：f \ left（x_1、x_2 \ right）= \ left（x_1-3 \ right）^ 2 + \ left（x_2-2 \ right）^ 2 $

$ x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ {2} \ leq 5 $のように、

$ x_1,2x_2 \ geq 0 $および$ \ hat \ {x} = \ left（2,1 \ right）$

$ g_1 \ left（x_1、x_2 \ right）= x _ \ {1} ^ \ {2} + x _ \ {2} ^ \ {2} -5 $とする

$ g_2 \ left（x_1、x_2 \ right）= x _ \ {1} + 2x_2-4 $

$ g_3 \ left（x_1、x_2 \ right）=-x _ \ {1} $および$ g_4 \ left（x_1、x_2 \ right）=-x_2 $

したがって、上記の制約は次のように書くことができます-

$ g_1 \ left（x_1、x_2 \ right）\ leq 0、g_2 \ left（x_1、x_2 \ right）\ leq 0 $

$ g_3 \ left（x_1、x_2 \ right）\ leq 0、$および$ g_4 \ left（x_1、x_2 \ right）\ leq 0 $したがって、$ I = \ left \\ {1,2 \ right \} $したがって、$ u_3 = 0、\：\：u_4 = 0 $

$ \ bigtriangledown f \ left（\ hat \ {x} \ right）= \ left（2、-2 \ right）、\ bigtriangledown g_1 \ left（\ hat \ {x} \ right）= \ left（4,2 \ right）$および

$ \ bigtriangledown g_2 \ left（\ hat \ {x} \ right）= \ left（1,2 \ right）$

したがって、これらの値をKarush-Kuhn-Tucker条件の最初の条件に入れると、

$ u_1 = \ frac \ {1} \ {3} $および$ u_2 = \ frac \ {2} \ {3} $

したがって、Karush-Kuhn-Tuckerの条件が満たされます。

凸問題のアルゴリズム

最急降下法

この方法は、勾配法またはコーシー法とも呼ばれます。 この方法には、次の用語が含まれます-

x _ \ {k + 1} = x_k + \ alpha_kd_k

$ d_k =-\ bigtriangledown f \ left（x_k \ right）$または$ d_k =-\ frac \ {\ bigtriangledown f \ left（x_k \ right）} \ {\ left \ | \ bigtriangledown f \ left（x_k \ right）\ right \ |} $

$ \ phi \ left（\ alpha \ right）= f \ left（x_k + \ alpha d_k \ right）$とする

$ \ phi $を微分し、ゼロに等しくすることにより、$ \ alpha $を取得できます。

したがって、アルゴリズムは次のようになります-

• $ x_0 $、$ \ varepsilon_1 $、$ \ varepsilon_2 $を初期化し、$ k = 0 $を設定します。
• $ d_k =-\ bigtriangledown f \ left（x_k \ right）$または$ d_k =-\ frac \ {\ bigtriangledown f \ left（x_k \ right）} \ {\ left \ | \ bigtriangledown f \ left（x_k \ right）\ right \ |} $。
• $ \ phi \ left（\ alpha \ right）= f \ left（x_k + \ alpha d_k \ right）$を最小化するような$ \ alpha_k $を見つけます。
• $ x _ \ {k + 1} = x_k + \ alpha_kd_k $を設定します。
• $ \ left \ |の場合x _ \ {k + 1-x_k} \ right \ |
• 最適なソリューションは$ \ hat \ {x} = x _ \ {k + 1} $です。

ニュートン法

ニュートン法は、次の原則に基づいて動作します-

$ f \ left（x \ right）= y \ left（x \ right）= f \ left（x_k \ right）+ \ left（x-x_k \ right）^ T \ bigtriangledown f \ left（x_k \ right）+ \ frac \ {1} \ {2} \ left（x-x_k \ right）^ TH \ left（x_k \ right）\ left（x-x_k \ right）$

$ \ bigtriangledown y \ left（x \ right）= \ bigtriangledown f \ left（x_k \ right）+ H \ left（x_k \ right）\ left（x-x_k \ right）$

$ x _ \ {k + 1}で、\ bigtriangledown y \ left（x _ \ {k + 1} \ right）= \ bigtriangledown f \ left（x_k \ right）+ H \ left（x_k \ right）\ left（x_ \ {k + 1} -x_k \ right）$

$ x _ \ {k + 1} $が最適な解であるために$ \ bigtriangledown y \ left（x_k + 1 \ right）= 0 $

したがって、$ x _ \ {k + 1} = x_k-H \ left（x_k \ right）^ \ {-1} \ bigtriangledown f \ left（x_k \ right）$

ここで、$ H \ left（x_k \ right）$は非特異でなければなりません。

したがって、アルゴリズムは次のようになります-

• ステップ1 *-$ x_0、\ varepsilon $を初期化し、$ k = 0 $を設定します。

• ステップ2 *-$ H \ left（x_k \ right）\ bigtriangledown f \ left（x_k \ right）$を見つけます。

• ステップ3 *-線形システムを解く$ H \ left（x_k \ right）h \ left（x_k \ right）= \ bigtriangledown f \ left（x_k \ right）$ for $ h \ left（x_k \ right）$ 。

• ステップ4 *-$ x _ \ {k + 1} = x_k-h \ left（x_k \ right）$を見つけます。

• ステップ5 *-$ \ left \ |の場合x _ \ {k + 1} -x_k \ right \ | <\ varepsilon $または$ \ left \ | \ bigtriangledown f \ left（x_k \ right）\ right \ | \ leq \ varepsilon $はステップ6に進み、そうでない場合は$ k = k + 1 $に設定してステップ2に進みます。

• ステップ6 *-最適なソリューションは$ \ hat \ {x} = x _ \ {k + 1} $です。

共役勾配法

この方法は、次のタイプの問題を解決するために使用されます-

$ min f \ left（x \ right）= \ frac \ {1} \ {2} x ^ T Qx-bx $

ここで、Qは正定nXn行列で、bは定数です。

$ x_0、\ varepsilon、$を指定すると、$ g_0 = Qx_0-b $を計算します

$ k = 0,1,2、…​、$に$ d_0 = -g_0 $を設定します

設定$ \ alpha_k = \ frac \ {g _ \ {k} ^ \ {T} g_k} \ {d _ \ {k} ^ \ {T} Q d_k} $

計算$ x _ \ {k + 1} = x_k + \ alpha_kd_k $

$ g _ \ {k + 1} = g_k + \ alpha_kd_k $を設定

計算$ \ beta_k = \ frac \ {g _ \ {k} ^ \ {T} g_k} \ {d _ \ {k} ^ \ {T} Qd_k} $

計算$ x _ \ {k + 1} = x_k + \ alpha_kd_k $

$ g _ \ {k + 1} = x_k + \ alpha_kQd_k $を設定します

計算$ \ beta_k = \ frac \ {g _ \ {k + 1} ^ \ {T} g _ \ {k + 1}} \ {g _ \ {k} ^ \ {T} gk} $

$ d _ \ {k + 1} =-g _ \ {k + 1} + \ beta_kd_k $を設定します。