Convex-optimization-differentiable-function
凸最適化-微分可能関数
Sを$ \ mathbb \ {R} ^ n $の空でないオープンセットとすると、$ f：S \ rightarrow \ mathbb \ {R} $は$ \ hat \ {x} \ inで微分可能と言われます。 S $が存在する場合は、ベクトル$ \ bigtriangledown f \ left（\ hat \ {x} \ right）$と呼ばれる勾配ベクトルと関数$ \ alpha：\ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R}そのような
$ f \ left（x \ right）= f \ left（\ hat \ {x} \ right）+ \ bigtriangledown f \ left（\ hat \ {x} \ right）^ T \ left（x- \ hat \ { x} \ right）+ \ left \ | x = \ hat \ {x} \ right \ | \ alpha \ left（\ hat \ {x}、x- \ hat \ {x} \ right）、\ forall x \ in S $ここで
$ \ alpha \ left（\ hat \ {x}、x- \ hat \ {x} \ right）\ rightarrow 0 \ bigtriangledown f \ left（\ hat \ {x} \ right）= \ left [\ frac \ { \ partial f} \ {\ partial x_1} \ frac \ {\ partial f} \ {\ partial x_2} … \ frac \ {\ partial f} \ {\ partial x_n} \ right] _ \ {x = \ hat \ {x}} ^ \ {T} $
定理
Sを$ \ mathbb \ {R} ^ n $の空でないオープン凸セットとし、Sで$ f：S \ rightarrow \ mathbb \ {R} $を微分可能にします。 次に、fが凸であるのは、$ x_1、x_2 \ in S、\ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）- f \ left（x_2 \ right）$
証明
fを凸関数とする。 つまり、$ x_1、x_2 \ in S、\ lambda \ in \ left（0、1 \ right）$の場合
$ f \ left [\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right] \ leq \ lambda f \ left（x_1 \ right）+ \ left（1- \ lambda \ right）f \ left（x_2 \ right）$
$ \ Rightarrow f \ left [\ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ right] \ leq \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right ）+ f \ left（x_2 \ right）$
$ \ Rightarrow \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right）\ geq f \ left（x_2 + \ lambda \ left（x_1-x_2 \ right）\ right）- f \ left（x_2 \ right）$
$ \ Rightarrow \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_2 \ right）\ right）\ geq f \ left（x_2 \ right）+ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ lambda + $
$ \ left \ | \ lambda \ left（x_1-x_2 \ right）\ right \ | \ alpha \ left（x_2、\ lambda \ left（x_1-x_2 \ right）-f \ left（x_2 \ right）\ right）$
ここで、$ \ alpha \ left（x_2、\ lambda \ left（x_1-x_2 \ right）\ right）\ rightarrow 0 $ as $ \ lambda \ rightarrow 0 $
両側で$ \ lambda $で割ると、次のようになります-
$ f \ left（x_1 \ right）-f \ left（x_2 \ right）\ geq \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）$
逆
$ x_1、x_2 \ in S、\ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）-f \ left（x_2 \ right） $
fが凸であることを示すため。
Sは凸であるため、$ x_3 = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 \ in S、\ lambda \ in \ left（0、1 \ right）$
したがって、$ x_1、x_3は\ S $であるため、
$ f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1 -x_3 \ right）$
$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-\ lambda x_1- \ left（1- \ lambda \ right）x_2 \ right）$
$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_3 \ right）\ geq \ left（1- \ lambda \ right）\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \ right）$
以来、$ x_2、x_3 \ in S $
$ f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2-x_3 \ right）$
$ \ Rightarrow f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_2- \ lambda x_1- \ left（1- \ lambda \ right）x_2 \ right）$
$ \ Rightarrow f \ left（x_2 \ right）-f \ left（x_3 \ right）\ geq \ left（-\ lambda \ right）\ bigtriangledown f \ left（x_3 \ right）^ T \ left（x_1-x_2 \右）$
したがって、上記の方程式を組み合わせて、次のようになります-
$ \ lambda \ left（f \ left（x_1 \ right）-f \ left（x_3 \ right）\ right）+ \ left（1- \ lambda \ right）\ left（f \ left（x_2 \ right）-f \ left（x_3 \ right）\ right）\ geq 0 $
$ \ Rightarrow f \ left（x_3 \ right）\ leq \ lambda f \ left（x_1 \ right）+ \ left（1- \ lambda \ right）f \ left（x_2 \ right）$
定理
Sを$ \ mathbb \ {R} ^ n $の空でない開いた凸集合とし、$ f：S \ rightarrow \ mathbb \ {R} $をSで微分可能にし、fがSで凸である場合のみif for $ x_1、x_2 \ in S、\ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $
証明
fを凸関数とし、前の定理を使用して-
$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）\ leq f \ left（x_1 \ right）-f \ left（x_2 \ right）$および
$ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq f \ left（x_2 \ right）-f \ left（x_1 \ right）$
上記の2つの方程式を追加すると、次のようになります-
$ \ bigtriangledown f \ left（x_2 \ right）^ T \ left（x_1-x_2 \ right）+ \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq 0 $
$ \ Rightarrow \ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_1-x_2 \ right）\ leq 0 $
$ \ Rightarrow \ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $
逆
$ x_1、x_2 \ in S、\ left（\ bigtriangledown f \ left（x_2 \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x_2-x_1 \ right）\ geq 0 $
fが凸であることを示すため。
$ x_1、x_2 \ in S $、したがって平均値定理により、$ \ frac \ {f \ left（x_1 \ right）-f \ left（x_2 \ right）} \ {x_1-x_2} = \ bigtriangledown f \ Sは凸集合なので、左（x \ right）、x \ in \ left（x_1-x_2 \ right）\ Rightarrow x = \ lambda x_1 + \ left（1- \ lambda \ right）x_2 $
$ \ Rightarrow f \ left（x_1 \ right）-f \ left（x_2 \ right）= \ left（\ bigtriangledown f \ left（x \ right）^ T \ right）\ left（x_1-x_2 \ right）$
$ x、x_1 $については、知っています-
$ \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（x-x_1 \ right）\ geq 0 $
$ \ Rightarrow \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（\ lambda x_1 + \ left（1- \ lambda \ right）x_2- x_1 \ right）\ geq 0 $
$ \ Rightarrow \ left（\ bigtriangledown f \ left（x \ right）-\ bigtriangledown f \ left（x_1 \ right）\ right）^ T \ left（1- \ lambda \ right）\ left（x_2-x_1 \ right ）\ geq 0 $
$ \ Rightarrow \ bigtriangledown f \ left（x \ right）^ T \ left（x_2-x_1 \ right）\ geq \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）$
上記の方程式を組み合わせると、次のようになります-
$ \ Rightarrow \ bigtriangledown f \ left（x_1 \ right）^ T \ left（x_2-x_1 \ right）\ leq f \ left（x_2 \ right）-f \ left（x_1 \ right）$
したがって、最後の定理を使用すると、fは凸関数です。
2回微分可能な関数
Sを$ \ mathbb \ {R} ^ n $の空でないサブセットとし、$ f：S \ rightarrow \ mathbb \ {R} $とすると、fは$ \ bar \ {x}で2階微分可能と言われます。 \ in S $ベクトル$ \ bigtriangledown f \ left（\ bar \ {x} \ right）、\：nXn $行列$ H \ left（x \ right）$（ヘッセ行列と呼ばれる）および関数が存在する場合$ \ alpha：\ mathbb \ {R} ^ n \ rightarrow \ mathbb \ {R} $ $ f \ left（x \ right）= f \ left（\ bar \ {x} + x- \ bar \ { x} \ right）= f \ left（\ bar \ {x} \ right）+ \ bigtriangledown f \ left（\ bar \ {x} \ right）^ T \ left（x- \ bar \ {x} \ right ）+ \ frac \ {1} \ {2} \ left（x- \ bar \ {x} \ right）H \ left（\ bar \ {x} \ right）\ left（x- \ bar \ {x} \ right）$
ここで$ \ alpha \ left（\ bar \ {x}、x- \ bar \ {x} \ right）\ rightarrow Oasx \ rightarrow \ bar \ {x} $
