Convex-optimization-jensens-inequality

凸最適化-ジェンセンの不等式

Sを$ \ mathbb \ {R} ^ n $および$ f：S \ rightarrow \ mathbb \ {R} ^ n $の空でない凸集合とします。 そして、各整数$ k> 0 $の場合に限り、fは凸です

$ x_1、x_2、…​ x_k \ in S、\ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_i = 1、\ lambda_i \ geq 0、\ forall i = 1,2、s、k $ 、$ f \ left（\ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda_ix_i \ right）\ leq \ displaystyle \ sum \ limits _ \ {i = 1} ^ k \ lambda _if \ left（x \ right）$

証明

kの帰納法による。

$ k = 1：x_1 \ in S $したがって$ f \ left（\ lambda_1 x_1 \ right）\ leq \ lambda_i f \ left（x_1 \ right）$ $ \ lambda_i = 1 $であるため。

$ k = 2：\ lambda_1 + \ lambda_2 = 1 $および$ x_1、x_2 \ in S $

したがって、$ \ lambda_1x_1 + \ lambda_2x_2 \ in S $

したがって、定義により、$ f \ left（\ lambda_1 x_1 + \ lambda_2 x_2 \ right）\ leq \ lambda _1f \ left（x_1 \ right）+ \ lambda _2f \ left（x_2 \ right）$

ステートメントが$ n <k $について真であるとする

したがって、

$ f \ left（\ lambda_1 x_1 + \ lambda_2 x_2 + …​. + \ lambda_k x_k \ right）\ leq \ lambda_1 f \ left（x_1 \ right）+ \ lambda_2 f \ left（x_2 \ right）+ …​ + \ lambda_k f \ left（x_k \ right）$

$ k = n + 1：$ $ x_1、x_2、…​. x_n、x _ \ {n + 1} \ in S $および$ \ displaystyle \ sum \ limits _ \ {i = 1} ^ \ {n + 1} = 1 $

したがって、$ \ mu_1x_1 + \ mu_2x_2 + …​…​. + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ in S $

したがって、$ f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）$

$ = f \ left（\ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）\ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + \ mu_3} + \ mu_ \ {n + 1} x _ \ {n + 1} \ right）$

$ = f \ left（\ mu_y + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）$ここで$ \ mu = \ mu_1 + \ mu_2 + …​ + \ mu_n $および

$ y = \ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} $および$ \ mu_1 + \ mu _ \ {n + 1} = 1、y \ S $

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ mu f \ left（y \ right）+ \ mu_ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq $

$ \ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）f \ left（\ frac \ {\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} \ right）+ \ mu _ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ left（\ mu_1 + \ mu_2 + …​ + \ mu_n \ right）$

$ \ left [\ frac \ {\ mu_1} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} f \ left（x_1 \ right）+ …​ + \ frac \ {\ mu_n} \ {\ mu_1 + \ mu_2 + …​ + \ mu_n} f \ left（x_n \ right）\ right] + \ mu _ \ {n + 1} f \ left（x _ \ {n + 1} \ right）$

$ \ Rightarrow f \ left（\ mu_1x_1 + \ mu_2x_2 + …​ + \ mu_nx_n + \ mu _ \ {n + 1} x _ \ {n + 1} \ right）\ leq \ mu_1f \ left（x_1 \ right）+ \ mu_2f \左（x_2 \ right）+ …​. $

したがって、実証済み。