Convex-optimization-closest-point-theorem

凸最適化-最も近い点の定理

Sを$ \ mathbb \ {R} ^ n $の空でない閉じた凸集合とし、$ y \ notin S $とし、次に$ \ exists $を最小の点$ \ bar \ {x} \ in S $とするyからの距離、つまり、$ \ left \ | y- \ bar \ {x} \ right \ | \ leq \ left \ | y-x \ right \ | \ forall x \ in S. $

さらに、$ \ bar（{x} $は、$ \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq 0 $または$ \ left（y- \ hat \ {x}、x- \ hat \ {x} \ right）\ leq 0 $

証明

最も近い点の存在

$ S \ ne \ phi、\ exists $から、Sのyからの最小距離が$ \ left \ |以下になるように、S $内のポイント$ \ hat \ {x} \が存在するためy- \ hat \ {x} \ right \ | $。

定義$ \ hat \ {S} = S \ cap \ left \\ {x：\ left \ | y-x \ right \ | \ leq \ left \ | y- \ hat \ {x} \ right \ | \ right \} $

$ \ hat \ {S} $は閉じられており、ノルムは連続関数なので、ワイエルシュトラスの定理により、$ \ left \ |のような最小点$ \ hat \ {x} \ in S $が存在します。 y- \ hat \ {x} \ right \ | = Inf \ left \\ {\ left \ | y-x \ right \ |、x \ in S \ right \} $

一意性

$ \ bar \ {x} \ in S $が$ \ left \ |であるとしますy- \ hat \ {x} \ right \ | = \ left \ | y- \ hat \ {x} \ right \ | = \ alpha $

Sは凸であるため、$ \ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ in S $

しかし、$ \ left \ | y- \ frac \ {\ hat \ {x}-\ bar \ {x}} \ {2} \ right \ | \ leq \ frac \ {1} \ {2} \ left \ | y- \ hat \ {x} \ right \ | + \ frac \ {1} \ {2} \ left \ | y- \ bar \ {x} \ right \ | = \ alpha $

$ \ hat \ {x} $はyに最も近いため、厳密な不等式にすることはできません。

したがって、$ \ left \ | y- \ hat \ {x} \ right \ | = \ mu \ left \ | y- \ hat \ {x} \ right \ | $、一部の$ \ mu $

今$ \ left \ | \ mu \ right \ | = 1. $ $ \ mu = -1 $の場合、$ \ left（y- \ hat \ {x} \ right）=-\ left（y- \ hat \ {x} \ right ）\ Rightarrow y = \ frac \ {\ hat \ {x} + \ bar \ {x}} \ {2} \ in S $

ただし、$ y \ in S $。 したがって矛盾。 したがって、$ \ mu = 1 \ Rightarrow \ hat \ {x} = \ bar \ {x} $

したがって、最小化ポイントは一意です。

証明の2番目の部分では、すべてに対して$ \ left（y- \ hat \ {x} \ right）^ \ {\ tau} \ left（x- \ bar \ {x} \ right）\ leq 0 $と仮定します$ x \ in S $

Now,

$ \ left \ | y-x \ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} + \ hat \ {x} -x \ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ left \ | \ hat \ {x} -x \ right \ | ^ \ {2} +2 \ left（\ hat \ {x} -x \ right）^ \ {\ tau} \ left（y- \ hat \ {x} \ right）$

$ \右矢印\ left \ | y-x \ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} $ $ \ left \ | \ hat \ {x} -x \ right \ | ^ \ {2} \ geq 0 $および$ \ left（\ hat \ {x}-x \ right）^ \ {T} \ left（y- \ hat \ {x} \ right）\ geq 0 $

したがって、$ \ hat \ {x} $はポイントを最小化します。

逆に、$ \ hat \ {x} $が最小点であると仮定します。

$ \右矢印\ left \ | y-x \ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ 2 \ forall x \ in S $

Sは凸集合であるため。

$ \ Rightarrow \ lambda x + \ left（1- \ lambda \ right）\ hat \ {x} = \ hat \ {x} + \ lambda \ left（x- \ hat \ {x} \ right）\ in S $ $ x \ in S $および$ \ lambda \ in \ left（0,1 \ right）$の場合

今、$ \ left \ | y- \ hat \ {x}-\ lambda \ left（x- \ hat \ {x} \ right）\ right \ | ^ \ {2} \ geq \ left \ | y- \ hat \ {x} \ right \ | ^ 2 $

And

$ \ left \ | y- \ hat \ {x}-\ lambda \ left（x- \ hat \ {x} \ right）\ right \ | ^ \ {2} = \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ lambda ^ 2 \ left \ | x- \ hat \ {x} \ right \ | ^ \ {2} -2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x } \ right）$

$ \右矢印\ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} + \ lambda ^ \ {2} \ left \ | x- \ hat \ {x} \ right \ | -2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ geq \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2} $

$ \ Rightarrow 2 \ lambda \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq \ lambda ^ 2 \ left \ | x- \ hat \ {x} \ right \ | ^ 2 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ \ {T} \ left（x- \ hat \ {x} \ right）\ leq 0 $

したがって、実証済み。