Convex-optimization-fundamental-separation-theorem

基本的な分離定理

Sを$ \ mathbb \ {R} ^ n $および$ y \ notin S $にある空でない閉じた凸集合とします。 次に、$ x \ in S $ごとに$ p ^ T y> \ beta $および$ p ^ T x <\ beta $となるような非ゼロベクトル$ p $およびスカラー$ \ beta $が存在します。

証明

Sは非空の閉凸集合であり、したがって$ y \ notin S $は最近傍点定理によるため、次のような一意の最小化点$ \ hat \ {x} \ in S $が存在します。

$ \ left（x- \ hat \ {x} \ right）^ T \ left（y- \ hat \ {x} \ right）\ leq 0 \ forall x \ in S $

$ p = \ left（y- \ hat \ {x} \ right）\ neq 0 $および$ \ beta = \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）= p ^ T \ hat \ {x} $。

次に$ \ left（x- \ hat \ {x} \ right）^ T \ left（y- \ hat \ {x} \ right）\ leq 0 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ T \ left（x- \ hat \ {x} \ right）\ leq 0 $

$ \ Rightarrow \ left（y- \ hat \ {x} \ right）^ Tx \ leq \ left（y- \ hat \ {x} \ right）^ T \ hat \ {x} = \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）$ i、e。、$ p ^ Tx \ leq \ beta $

また、$ p ^ Ty- \ beta = \ left（y- \ hat \ {x} \ right）^ Ty- \ hat \ {x} ^ T \ left（y- \ hat \ {x} \ right）$

$ = \ left（y- \ hat \ {x} \ right）^ T \ left（y-x \ right）= \ left \ | y- \ hat \ {x} \ right \ | ^ \ {2}> 0 $

$ \ Rightarrow p ^ Ty> \ beta $

この定理により、超平面が分離されます。 上記の定理に基づく超平面は次のように定義することができます-

$ S_1 $と$ S_2 $を$ \ mathbb \ {R} $の空でないサブセットとし、$ H = \ left \\ {X：A ^ TX = b \ right \} $を超平面にします。

• 超平面Hは、$ A ^ TX \ leq b \ forall X \ in S_1 $および$ A_TX \ geq b \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を分離すると言われています。
• 超平面Hは、$ A ^ TX <b \ forall X \ in S_1 $および$ A_TX> b \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を厳密に分離すると言われます。
• 超平面Hは、$ A ^ TX \ leq b \ forall X \ in S_1 $および$ A_TX \ geq b + \ varepsilon \ forall X \ in S_2 $の場合、$ S_1 $と$ S_2 $を強く分離すると言われます。ここで$ \ varepsilon $は正のスカラーです。