デジタル通信-情報理論

情報は、アナログであろうとデジタルであろうと、通信システムのソースです。 *情報理論*は、情報の定量化、保存、および伝達とともに情報のコーディングを研究するための数学的アプローチです。

イベントの発生条件

イベントを考慮すると、3つの発生条件があります。

イベントが発生していない場合、*不確実性*の状態があります。
イベントが発生したばかりの場合、*サプライズ*の状態があります。
イベントが発生した場合、時間をさかのぼると、何らかの「情報」を持っているという状態があります。

これら3つのイベントは異なる時間に発生します。これらの条件の違いは、イベントの発生確率に関する知識を得るのに役立ちます。

エントロピー

イベントの発生の可能性、それがどれほど驚くべきか不確実であるかを観察するとき、それはイベントのソースからの情報の平均的な内容について考えていることを意味します。

エントロピー*は、ソースシンボルごとの平均情報量の尺度として定義できます。「情報理論の父」であるクロード・シャノンは、そのための公式を次のように提供しました-

H =-\ sum _ \ {i} p_i \ log _ \ {b} p_i

ここで、* p〜i〜は特定の文字ストリームからの文字番号 *i の出現確率であり、 b は使用されるアルゴリズムのベースです。したがって、これは Shannon’s Entropy とも呼ばれます。

チャネル出力を観察した後にチャネル入力について残る不確実性の量は、 Conditional Entropy と呼ばれます。 $ H（x \ mid y）$で示されます

相互情報

出力が Y で入力が X のチャネルを考えてみましょう

事前不確実性のエントロピーを* X = H（x）*とする

（これは、入力が適用される前に想定されます）

入力が適用された後、出力の不確実性を知るために、* Y = y〜k〜*が与えられた場合、条件付きエントロピーを考慮しましょう

H \ left（x \ mid y_k \ right）= \ sum _ \ {j = 0} ^ \ {j-1} p \ left（x_j \ mid y_k \ right）\ log _ \ {2} \ left [\ frac \ {1} \ {p（x_j \ mid y_k）} \ right]

これは、$ H（X \ mid y = y_0）のランダム変数です：… \：… \：… \：… \：… \：H（X \ mid y = y_k）$確率$ p（y_0）\：… \：… \：… \：… \：それぞれp（y _ \ {k-1）} $。

出力アルファベット y の$ H（X \ mid y = y_k）$の平均値は-

$ H \ left（X \ mid Y \ right）= \ displaystyle \ sum \ limits _ \ {k = 0} ^ \ {k-1} H \ left（X \ mid y = y_k \ right）p \ left（y_k \ right）$

$ = \ displaystyle \ sum \ limits _ \ {k = 0} ^ \ {k-1} \ displaystyle \ sum \ limits _ \ {j = 0} ^ \ {j-1} p \ left（x_j \ mid y_k \ right ）p \ left（y_k \ right）\ log _ \ {2} \ left [\ frac \ {1} \ {p \ left（x_j \ mid y_k \ right）} \ right] $

$ = \ displaystyle \ sum \ limits _ \ {k = 0} ^ \ {k-1} \ displaystyle \ sum \ limits _ \ {j = 0} ^ \ {j-1} p \ left（x_j、y_k \ right） \ log _ \ {2} \ left [\ frac \ {1} \ {p \ left（x_j \ mid y_k \ right）} \ right] $

ここで、両方の不確実性条件（入力を適用する前後）を考慮すると、その差、つまり $ H（x）-H（x \ mid y）$は、チャネル出力を観察することで解決されるチャネル入力に関する不確実性を表す必要があります。

これは、チャネルの*相互情報*と呼ばれます。

相互情報を$ I（x; y）$として示すと、次のように方程式全体を書くことができます。

I（x; y）= H（x）-H（x \ mid y）

したがって、これは相互情報の等式表現です。

相互情報の特性

これらは相互情報のプロパティです。

チャネルの相互情報は対称的です。 + I（x; y）= I（y; x）
相互情報は負ではありません。 + I（x; y）\ geq 0
相互情報は、チャネル出力のエントロピーの観点から表現できます。 + I（x; y）= H（y）-H（y \ mid x） +ここで、$ H（y \ mid x）$は条件付きエントロピーです
チャネルの相互情報は、チャネル入力とチャネル出力の結合エントロピーに関連しています。 + I（x; y）= H（x）+ H（y）-H（x、y）ジョイントエントロピー$ H（x、y）$は H（x 、y）= \ displaystyle \ sum \ limits _ \ {j = 0} ^ \ {j-1} \ displaystyle \ sum \ limits _ \ {k = 0} ^ \ {k-1} p（x_j、y_k）\ log_ \ {2} \ left（\ frac \ {1} \ {p \ left（x_i、y_k \ right）} \ right）

チャネル容量

これまで相互情報について議論してきました。シグナリング間隔の瞬間における最大平均相互情報は、個別のメモリレスチャネルによって送信される場合、データの最大信頼性送信レートの確率は、*チャネル容量*として理解できます。

*C* で示され、*チャネルごとのビット*使用で測定されます。

ディスクリートメモリレスソース

前の値とは無関係に、連続した間隔でデータが発信されるソースは、 discrete memoryless source と呼ばれます。

このソースは、連続的な時間間隔ではなく、離散的な時間間隔で考慮されるため、離散的です。このソースは、以前の値を考慮せずに各瞬間に新鮮であるため、メモリがありません。

Digital-communication-information-theory

目次