Artificial-neural-network-learning-adaptation
学習と適応
前に述べたように、ANNは生物学的神経系、つまり 人間の脳は機能します。 人間の脳の最も印象的な特徴は学習することです。したがって、同じ機能がANNによって取得されます。
ANNでの学習とは何ですか？
基本的に、学習とは、環境に変化が生じたときに、それ自体で変化を行い、適応させることを意味します。 ANNは複雑なシステムです。より正確には、ANNは、通過する情報に基づいて内部構造を変更できる複雑な適応システムであると言えます。
どうしてそれが重要ですか？
複雑な適応システムであるANNでの学習は、処理ユニットが環境の変化により入出力動作を変更できることを意味します。 ANNでの学習の重要性は、特定のネットワークが構築されるとき、固定されたアクティベーション関数と入出力ベクトルのために増加します。 ここで、入力/出力の動作を変更するには、重みを調整する必要があります。
分類
同じクラスのサンプル間で共通の特徴を見つけることにより、サンプルのデータを異なるクラスに区別することを学習するプロセスとして定義できます。 たとえば、ANNのトレーニングを実行するには、独自の機能を備えたトレーニングサンプルがあり、テストを実行するには、他の独自の機能を備えたテストサンプルがあります。 分類は教師あり学習の例です。
ニューラルネットワークの学習ルール
ANN学習中に、入力/出力動作を変更するには、重みを調整する必要があることを知っています。 したがって、重みを変更できる方法が必要です。 これらの方法は学習ルールと呼ばれ、単にアルゴリズムまたは方程式です。 以下は、ニューラルネットワークのいくつかの学習ルールです-
ヘビアン学習規則
このルールは、最も古く、最も単純なルールの1つで、1949年にドナルドヘブが著書「行動の組織」で紹介しました。 それは一種のフィードフォワード、教師なし学習です。
基本概念-この規則は、Hebbが書いた提案に基づいています。
「細胞Aの軸索が細胞Bを興奮させるのに十分近く、繰り返しまたは持続的に細胞の発火に関与する場合、一方または両方の細胞で何らかの成長プロセスまたは代謝変化が起こり、Bを発火する細胞の1つとしてのAの効率、増加します。」
上記の仮定から、ニューロンが同時に発火すると2つのニューロン間の接続が強化され、異なる時間に発火すると弱くなる可能性があると結論付けることができます。
数学の公式-ヘブの学習ルールによると、次の式は各時間ステップで接続の重みを増加させます。
\ Delta w _ \ {ji}（t）\：= \：\ alpha x _ \ {i}（t）.y _ \ {j}（t）
ここで、$ \ Delta w _ \ {ji}（t）$=接続の重みがタイムステップ t で増加する増分
$ \ alpha $ =正の一定の学習率
$ x _ \ {i}（t）$ =タイムステップ t でのシナプス前ニューロンからの入力値
$ y _ \ {i}（t）$ =同じタイムステップ t でのシナプス前ニューロンの出力
パーセプトロン学習ルール
このルールは、Rosenblattによって導入された線形活性化機能を備えた単層フィードフォワードネットワークの教師あり学習アルゴリズムを修正するエラーです。
基本概念-本質的に監視されているため、誤差を計算するために、望ましい/ターゲットの出力と実際の出力の比較が行われます。 違いが見つかった場合は、接続の重みを変更する必要があります。
- 数学的定式化-その数学的定式化を説明するために、「n」個の有限入力ベクトルx（n）と、その望ましい/ターゲット出力ベクトルt（n）（n = 1からN）があると仮定します。
これで、ネット入力に基づいて前述したように、出力「y」を計算でき、そのネット入力に適用されるアクティベーション関数は次のように表現できます-
y \：= \：f（y _ \ {in}）\：= \：\ begin \ {cases} 1、＆y _ \ {in} \：> \：\ theta \\ 0、＆y _ \ { in} \：\ leqslant \：\ theta \ end \ {cases}
ここで、*θ*はしきい値です。
重量の更新は、次の2つの場合に行うことができます-
ケースI *- *t≠y の場合、
w（new）\：= \：w（old）\：+ \; tx
ケースII *- *t = y の場合、
重量変化なし
デルタ学習ルール（Widrow-Hoffルール）
Bernard WidrowとMarcian Hoffによって導入され、最小平均二乗（LMS）法とも呼ばれ、すべてのトレーニングパターンでエラーを最小化します。 連続的な活性化機能を備えた一種の教師あり学習アルゴリズムです。
基本概念-このルールの基本は、勾配降下アプローチであり、これは永遠に続きます。 デルタルールは、出力単位への正味入力と目標値を最小化するようにシナプスの重みを更新します。
数学の公式-シナプスの重みを更新するには、デルタ規則が
\ Delta w _ \ {i} \：= \：\ alpha \ :. x _ \ {i} .e _ \ {j}
ここで$ \ Delta w _ \ {i} $ = i ^ th ^patternの重量変化。
$ \ alpha $ =正の一定の学習率。
$ x _ \ {i} $ =シナプス前ニューロンからの入力値。
$ e _ \ {j} $ = $（t \：-\：y _ \ {in}）$、目的/ターゲット出力と実際の出力の違い$ y _ \ {in} $
上記のデルタ規則は、単一の出力ユニット専用です。
重量の更新は、次の2つの場合に行うことができます-
ケース-I *- *t≠y の場合、
w（new）\：= \：w（old）\：+ \：\ Delta w
ケースII *- *t = y の場合、
重量変化なし
競争学習ルール（勝者がすべてを取る）
これは、出力ノードが互いに競合して入力パターンを表現しようとする教師なしトレーニングに関係しています。 この学習ルールを理解するには、次のように与えられている競争ネットワークを理解する必要があります-
競合ネットワークの基本概念-このネットワークは、出力間のフィードバック接続を備えた単層フィードフォワードネットワークに似ています。 出力間の接続は抑制型であり、点線で示されています。つまり、競合他社は自分自身をサポートしていません。
競争学習ルールの基本概念-前述のように、出力ノード間で競合が発生します。 したがって、主な概念は、トレーニング中に、特定の入力パターンに対して最も高いアクティベーションを持つ出力ユニットが勝者として宣言されるということです。 このルールは、勝者ニューロンのみが更新され、残りのニューロンは変更されないままであるため、Winner-takes-allとも呼ばれます。
数学的定式化-以下は、この学習ルールの数学的定式化のための3つの重要な要素です-
- 勝者になる条件-ニューロン$ y _ \ {k} $が勝者になりたい場合、次の条件があります- + y _ \ {k} \：= \：\ begin \ {cases} 1＆if \：v _ \ {k} \：> \：v _ \ {j} \：for \：all \：j、\ ：j \：\ neq \：k \\ 0およびそれ以外の場合\ end \ {cases}
つまり、$ y _ \ {k} $などのニューロンが勝ちたい場合、その誘導されたローカルフィールド（加算ユニットの出力）、たとえば$ v _ \ {k} $は、すべての中で最大でなければならないことを意味します。ネットワーク内の他のニューロン。
- 重みの合計の条件-競合学習ルールに対する別の制約は、特定の出力ニューロンへの重みの合計が1になることです。 たとえば、ニューロン k を考慮する場合- + $$ \ displaystyle \ sum \ limits _ \ {j} w _ \ {kj} \：= \：1 \：\：\：\：\：\：\：\：\：for \：all \：k $ $
- 勝者の重みの変化-ニューロンが入力パターンに応答しない場合、そのニューロンでは学習は行われません。 ただし、特定のニューロンが勝った場合、対応する重みは次のように調整されます + \ Delta w _ \ {kj} \：= \：\ begin \ {cases}-\ alpha（x _ \ {j} \：-\：w _ \ {kj}）、およびif \：neuron \：k \：wins \\ 0、＆if \：neuron \：k \：losses \ end \ {cases}
ここで、$ \ alpha $は学習率です。
これは、重みを調整することで勝者のニューロンを支持していることを明確に示しており、ニューロンの損失がある場合、その重みを再調整する必要はありません。
Outstar学習ルール
Grossbergによって導入されたこのルールは、望ましい出力がわかっているため、教師あり学習に関係しています。 グロスバーグ学習とも呼ばれます。
基本概念-このルールは、レイヤーに配置されたニューロンに適用されます。 これは、 p ニューロンの層の望ましい出力 d を生成するように特別に設計されています。
数式-このルールの重量調整は次のように計算されます
\ Delta w _ \ {j} \：= \：\ alpha \ :( d \：-\：w _ \ {j}）
ここで、 d は目的のニューロン出力であり、$ \ alpha $は学習率です。
