その他の最適化手法

反復勾配降下法

最急降下とも呼ばれる勾配降下は、関数の極小値を見つけるための反復最適化アルゴリズムです。機能を最小化する一方で、コストまたはエラーを最小化することに関心があります（巡回セールスマン問題を思い出してください）。ディープラーニングで広く使用されており、さまざまな状況で役立ちます。ここで覚えておくべきポイントは、グローバルな最適化ではなくローカルな最適化に関係しているということです。

主な作業アイデア

私たちは、次の手順の助けを借りて勾配降下の主な作業のアイデアを理解することができます-

最初に、解の初期推測から始めます。
次に、そのポイントで関数の勾配を取ります。
後で、勾配の負の方向にソリューションをステップ実行してプロセスを繰り返します。

上記の手順に従うことにより、アルゴリズムは最終的に勾配がゼロの場所に収束します。

最適化

数学的概念

関数 f（x） があり、この関数の最小値を見つけようとしているとします。以下は、最小の f（x） を見つける手順です。

まず、初期値$ x _ \ {0} \：for \：x $を指定します
関数の勾配$ \ nabla f $を取得します。勾配はその x で曲線の勾配を与え、その方向は関数の増加を指し示し、最適な方向を見つけます。最小化します。
次のようにxを変更します- + x _ \ {n \：+ \：1} \：= \：x _ \ {n} \：-\：\ theta \ nabla f（x _ \ {n}）

ここで、*θ> 0 *は、アルゴリズムに小さなジャンプを強制させるトレーニングレート（ステップサイズ）です。

ステップサイズの推定

実際、誤ったステップサイズ*θ*は収束に到達しない可能性があるため、同じものを慎重に選択することが非常に重要です。ステップサイズを選択するときは、次の点を覚えておく必要があります

大きすぎるステップサイズを選択しないでください。そうしないと、マイナスの影響があります。収束するのではなく発散します。
小さすぎるステップサイズを選択しないでください。そうしないと、収束するのに多くの時間がかかります。

ステップサイズの選択に関するいくつかのオプション-

1つのオプションは、固定ステップサイズを選択することです。
別のオプションは、反復ごとに異なるステップサイズを選択することです。

焼き鈍し法

シミュレーテッドアニーリング（SA）の基本概念は、固体のアニーリングに基づいています。アニーリングの過程で、金属を融点以上に加熱して冷却すると、構造特性は冷却速度に依存します。また、SAはアニーリングの冶金プロセスをシミュレートしているとも言えます。

ANNで使用

SAは、与えられた関数のグローバル最適化を近似するための、アニーリングのアナロジーに触発された確率的計算手法です。 SAを使用して、フィードフォワードニューラルネットワークをトレーニングできます。

アルゴリズム

ステップ1 *-ランダムソリューションを生成します。

ステップ2 *-コスト関数を使用してコストを計算します。

ステップ3 *-ランダムな隣接ソリューションを生成します。

ステップ4 *-同じコスト関数で新しいソリューションコストを計算します。

ステップ5 *-次のように、新しいソリューションのコストと古いソリューションのコストを比較します-

Cost〜New Solution〜<Cost〜Old Solution〜*の場合、新しいソリューションに移動します。

ステップ6 *-停止条件をテストします。これは、到達した反復の最大数であるか、許容可能なソリューションを取得します。

Artificial-neural-network-other-optimization-techniques

目次