[https://hkashima.github.io/IT2014-9.pdf](https://hkashima.github.io/IT2014-9.pdf) - 情報通信のモデル - 情報源符号化 - 通信路符号化 - 通信路 - 記号 x を送信すると、記号 y が届く （雑音によって変化する） - 通信路の振舞を[[条件付き分布|条件付き確率]]$P(y|x)$で表す - 通信路符号化定理 - 通信路容量： $C = \max_{P(X)} I(X; Y)$ - 入力と出力の[[相互情報量]]の（入力分布について）最大値 - 符号長を大きくすることで複合誤り確率をいくらでも小さくできる - 伝送速度： $1/n ・ log |C|$ （ $C$ は符号語の数） - 符号誤り率を下げるために、伝送速度を下げる必要は無い