# A Mathematical Theory of Communication > [!abstract] 概要 > 近年、PCMやPPMなど様々な変調方式の開発により、通信理論への関心が急速に高まっている。これら広帯域システムの優れた特性を説明するには、より包括的な理論が必要とされる。本論文の目的は、通信システムに関する数学的基礎理論を展開することである。通信の根本問題は、ある地点で選択されたメッセージを別の地点で正確に、あるいは近似的に再現することにある。多くの場合、メッセージには「意味」があるが、これらの意味的側面は通信の工学的問題とは本質的に無関係である。重要な側面は、実際のメッセージが、可能なメッセージの集合から選択された1つの要素であるということである。 ## 論文情報 - タイトル: A Mathematical Theory of Communication - 著者: [[Claude Shannon]] (Bell Telephone Laboratories) - 媒体: *The Bell System Technical Journal*, Vol. 27, pp. 379–423, 623–656 (July, October 1948) - 原本: `.raw/papers/entropy.pdf` ## 概要 Claude E. Shannon が「情報（Information）」を主観的意味から切り離して数学的・確率論的に厳密に定義し、現代のデジタル情報化社会・暗号・データ圧縮・誤り訂正技術・通信工学の礎を単独で築き上げた、20世紀最大の記念碑的論文である。 ## 問題設定 電信、電話、ラジオ、テレビなど多様な物理通信媒体が存在する中で、「ある通信路で単位時間あたりにどれだけの情報を誤りなく伝送できるか」を理論的に統制する統一的・数学的枠組みが存在しなかった。工学的には帯域幅と電力、S/N比のトレードオフを支配する限界の定量的解明が不可欠であった。 ## 提案手法 1. **通信システムの一般モデル**: 情報源、送信機、通信路（雑音源を伴う）、受信機、宛先の5つの要素からなる統一的ブロック図を提示。 **Figure 1: 一般通信システムの模式図** ![[_attachments/entropy/fig01-general-communication-system.png]] (Figure 1. 情報源〔Information Source〕から送信機、雑音を伴う通信路〔Channel〕、受信機、宛先〔Destination〕へと至る通信の基本構造。) 2. **情報エントロピーの定義と公理的導出**: 事象の生起確率 $p_1, \dots, p_n$ に対して、連続性・等確率時の単調増加性・選択の段階的分割可能性という3つの自然な公理を満たす不確実性の尺度は、定数倍を除いて以下のシャノンエントロピー $H$ に一意に定まることを証明した: $H = -K \sum_{i=1}^n p_i \log p_i$ **Figure 6: 3つの選択肢の段階的分解** ![[_attachments/entropy/fig06-decomposition-choice.png]] (Figure 6. 確率 $(1/2, 1/3, 1/6)$ の選択を2段階の選択へと分解する様子。エントロピーが重み付き和として保存される公理的要件を示す。) **Figure 7: 2値事象におけるエントロピー曲線** ![[_attachments/entropy/fig07-entropy-binary-probabilities.png]] (Figure 7. 生起確率 $p$ と $1-p$ を持つ2値事象のエントロピー $H$。$p=0.5$ のときに最大値 1 bit をとり、不確実性が最大化される。) 3. **離散的通信路と通信路容量 $C$**: 通信路容量を $C = \lim_{T\to\infty} \frac{\log N(T)}{T}$ あるいは相互情報量 $I(X; Y) = H(X) - H(X|Y)$ の最大値として定式化。 **Figure 2: 電信記号における時間的制約の遷移グラフ** ![[_attachments/entropy/fig02-telegraph-constraints.png]] (Figure 2. モールス電信におけるドット・ダッシュ・スペースの持続時間制約を表現した状態遷移グラフ。) **Figure 3 / 4 / 5: マルコフ情報源の状態遷移グラフ** ![[_attachments/entropy/fig03-graph-source-b.png]] ![[_attachments/entropy/fig04-graph-source-c.png]] ![[_attachments/entropy/fig05-graph-source-d.png]] (Figure 3, 4, 5. 記号間の遷移確率と状態系列をモデル化したマルコフ情報源のグラフ表現。) 4. **雑音のある通信路と曖昧度（Equivocation）**: 受信信号から送信信号を推測する際の不確実性を曖昧度（条件付きエントロピー $H(x|y)$）として定義。 **Figure 8 / 9 / 10: 雑音通信路における補正システムと曖昧度・容量関係** ![[_attachments/entropy/fig08-correction-system.png]] ![[_attachments/entropy/fig09-equivocation-capacity.png]] ![[_attachments/entropy/fig10-channel-input-output-relations.png]] (Figure 8, 9, 10. 補助通信路を用いた補正システムの構成〔Fig 8〕、入力エントロピーと許容曖昧度の関係〔Fig 9〕、入出力空間の確率的結合関係〔Fig 10〕。) **Figure 11 / 12: 離散通信路の入出力遷移例と対称通信路の比較** ![[_attachments/entropy/fig11-discrete-channel-example.png]] ![[_attachments/entropy/fig12-discrete-channels-comparison.png]] (Figure 11, 12. 3記号離散通信路の遷移確率構成〔Fig 11〕および同一遷移確率を持つ各種離散通信路の比較〔Fig 12〕。) ## 基本定理群（Shannon's Theorems） - **情報源符号化定理（無雑音通信路符号化定理）**: 情報源のエントロピー $H$ bit/symbol に対し、任意の $\epsilon > 0$ に対して平均符号長を $H + \epsilon$ 以下に圧縮可能であり、かつ $H$ 未満には圧縮できない。 - **通信路符号化定理（有雑音通信路符号化定理）**: 通信路容量 $C$ を持つ有雑音通信路において、伝送レート $R < C$ であるならば、符号長 $N$ を十分に大きく選ぶことで復号誤り確率を任意に小さくできる符号が存在する。逆に $R > C$ の場合は誤り率を0に抑えることは不可能である。 - **シャノン＝ハートレーの定理（連続通信路容量）**: 帯域幅 $W$ (Hz)、信号電力 $P$、白色ガウス雑音電力 $N$ の通信路において、達成可能な最大伝送容量は $C = W \log_2 (1 + P/N)$ となる。 ## 新規性・意義 物理現象としての電気信号伝送を、「情報量（bit）」という抽象的・普遍的な数学的概念で完全にモデル化した。これにより、アナログ変調からデジタル符号化・誤り訂正への世界的なパラダイムシフトを引き起こし、コンピュータ通信、インターネット、暗号理論、統計力学、生物情報科学に至る全分野に決定的な影響を与えた。 ## 強み / 弱点・課題 - **強み**: エラーフリー伝送の上限限界（シャノン限界）を非構成的（確率的ランダム符号化）に厳密に証明したこと。 - **弱点・課題**: 定理の証明はランダム符号の存在を示したものであり、具体的に低計算量で限界を達成できる効率的な誤り訂正符号（ターボ符号やLDPC符号など）の構成法は後進の研究者に委ねられた。