ニューラルネットワークトレーニングの推奨事項

この章では、TensorFlowフレームワークを使用して実装できるニューラルネットワークトレーニングのさまざまな側面を理解します。

以下は、評価することができる10の推奨事項です-

バックプロパゲーション

バックプロパゲーションは偏微分を計算する簡単な方法で、ニューラルネットに最適な合成の基本形式が含まれます。

確率的勾配降下では、*バッチ*はサンプルの合計数であり、ユーザーはこれを使用して1回の反復で勾配を計算します。これまでのところ、バッチはデータセット全体であると想定されています。最良の例は、Google規模での作業です。多くの場合、データセットには数十億または数千億の例が含まれています。

学習率の適応は、勾配降下最適化の最も重要な機能の1つです。これは、TensorFlowの実装に不可欠です。

多数のパラメーターを持つディープニューラルネットは、強力な機械学習システムを形成します。ただし、このようなネットワークでは過剰なフィッティングが深刻な問題です。

最大プーリングは、サンプルベースの離散化プロセスです。その目的は、入力表現をダウンサンプリングすることです。これにより、必要な仮定を使用して次元が低下します。

LSTMは、指定されたニューロン内でどの入力を使用するかに関する決定を制御します。これには、何を計算し、どの出力を生成するかを決定するコントロールが含まれています。