情報理論

情報は、アナログであろうとデジタルであろうと、通信システムのソースです。 *情報理論*は、情報の定量化、保存、および伝達とともに情報のコーディングを研究するための数学的アプローチです。

イベントの発生条件

イベントを考慮すると、3つの発生条件があります。

したがって、これら3つは異なる時間に発生します。これらの条件の違いは、イベントの発生確率に関する知識を得るのに役立ちます。

イベントの発生の可能性を観察するとき、それがどれだけ驚きか不確実かは、イベントのソースからの情報の平均的な内容について考えていることを意味します。

H =-\ sum _ \ {i} p_i \ log _ \ {b} p_i

ここで、$ p_i $は、指定された文字ストリームから文字番号 i が発生する確率であり、bは使用されるアルゴリズムのベースです。したがって、これは Shannon’s Entropy とも呼ばれます。

チャネル出力を観察した後にチャネル入力について残る不確実性の量は、 Conditional Entropy と呼ばれます。 $ H（x \ arrowvert y）$で示されます

前の値とは無関係に、連続した間隔でデータが発信されるソースは、 discrete memoryless source と呼ばれます。

このソースは、連続的な時間間隔ではなく、離散的な時間間隔で考慮されるため、離散的です。このソースは、以前の値を考慮せずに各瞬間に新鮮であるため、メモリがありません。

定義によれば、「エントロピー$ H（\ delta）$の離散メモリレスソースを考えると、ソースエンコーディングの平均コードワード長$ \ bar \ {L} $は$ \ bar \ {L} \ geq H（\ delta）$”。

簡単な言葉では、コードワード（例：QUEUEのモールス符号は-.- ..-です。 ..-。）は常にソースコード（例ではQUEUE）以上です。つまり、コードワードのシンボルは、ソースコードのアルファベット以上です。

通信システムのチャネルコーディングは、システムの信頼性を向上させるために、制御に冗長性を導入します。ソースコーディングは冗長性を減らしてシステムの効率を改善します。

チャネルコーディングは、アクションの2つの部分で構成されます。

最後の目標は、チャネルノイズの全体的な影響を最小限に抑えることです。

マッピングはエンコーダーの助けを借りて送信機によって行われますが、逆マッピングはデコーダーによって受信機で行われます。