# 情報理論 ## 定義 情報理論（Information Theory）とは、情報の伝送・圧縮・蓄積・処理を数学的・確率論的に研究する数学および計算機科学の一分野である。Claude Shannon が1948年に創始し、情報の量を「エントロピー（不確実性の減少量）」として客観的・定量的に定式化するとともに、情報源符号化定理（データ圧縮限界）および通信路符号化定理（誤りなし通信の限界速度）を確立した。 ## 未解決の問い - 有限ブロック長および超低遅延要件下における実効通信路容量と誤り確率の最適トレードオフ（有限長情報理論の実応用）。 - ディープニューラルネットワークにおける情報ボトルネック原理（Information Bottleneck Principle）が表現学習の汎化性能をどこまで本質的に説明できるか。 ## 未編纂の観察 - Claude Shannonの原論文(1948)は、通信の目的を「選択されたメッセージの正確な再現」と定義し意味的側面を排して、不確実性の尺度 $H = -\sum p_i \log p_i$ を公理的に導出。雑音通信路でも伝送レートが容量 $C$ 未満であれば誤り率を任意に小さくできることを数学的に証明した(Source: [[@1948__BSTJ__A Mathematical Theory of Communication]])。 - Shannon のエントロピーはソフトウェア工学にも転用され、ログ出力文の配置で「事後解析で区別すべき実行経路の数(2^H)」を測る指標になる。経路の確率は本番サンプルの出現頻度で推定する(Source: [[@2017__SOSP__Log20 - Fully Automated Optimal Placement of Log Printing Statements under Specified Overhead Threshold]]) ## 関連 - ソース: [[@1948__BSTJ__A Mathematical Theory of Communication]] / [[@2017__SOSP__Log20 - Fully Automated Optimal Placement of Log Printing Statements under Specified Overhead Threshold]] - 人物: [[Claude Shannon]] ## 出典 - [[@1948__BSTJ__A Mathematical Theory of Communication]] - [[@2017__SOSP__Log20 - Fully Automated Optimal Placement of Log Printing Statements under Specified Overhead Threshold]](エントロピーによるログ配置の情報量評価)