エントロピーと相互情報量定義・連鎖律・不等式・計算例

離散確率変数 $X$ のエントロピーは $H(X) = -\sum_x p(x)\log_2 p(x)$ で、 $X$ の値を知ったときに得られる情報量の期待値である。 $0 \le H(X) \le \log_2 |\mathcal{X}|$ で、上限は一様分布のときに達する。相互情報量 $I(X;Y) = H(X) - H(X \mid Y)$ は $Y$ を知ることで減る $X$ の不確かさで、0以上であり、0になるのは $X$ と $Y$ が独立なときに限る。

情報理論の第1単元（全2単元）。

情報系院試の問題集・ロードマップ

東大情報理工・東京科学大・阪大の大学別に、出題マップと類題を1冊にした教材（各4,980円）。収録内容と見本を商品ページで確認できる。

情報系の教材を見る

情報量とエントロピーの定義

定義

自己情報量とエントロピー

有限集合 $\mathcal{X}$ に値をとる確率変数 $X$ の確率関数を $p(x) = P(X = x)$ とする。事象 $X = x$ の自己情報量を $-\log_2 p(x)$ 、その期待値

H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)

をエントロピーという。 $0 \log 0 = 0$ と約束する（ $\lim_{t \to +0} t\log t = 0$ による）。底を $e$ にした値の単位はナット（nat）で、 $1\ \text{bit} = \ln 2\ \text{nat}$ 。

定義

結合エントロピーと条件付きエントロピー

同時分布 $p(x, y)$ に対して

H(X, Y) = -\sum_{x, y} p(x, y)\log_2 p(x, y), \qquad H(Y \mid X) = \sum_x p(x)\, H(Y \mid X = x) = -\sum_{x,y} p(x,y)\log_2 p(y \mid x)

と定める。 $H(Y \mid X = x)$ は条件付き分布 $p(y \mid x)$ のエントロピーである。

定義

相互情報量と KL ダイバージェンス

分布 $p, q$ の KL ダイバージェンス（相対エントロピー）を

D(p \,\|\, q) = \sum_x p(x)\log_2\frac{p(x)}{q(x)}

とする。 $p(x) > 0$ かつ $q(x) = 0$ となる $x$ があれば $D(p\|q) = \infty$ 。相互情報量は同時分布と周辺分布の積の KL ダイバージェンス

I(X; Y) = D\bigl(p(x,y) \,\|\, p(x)p(y)\bigr) = \sum_{x,y} p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}

である。

エントロピーの性質と不等式

定理・法則

エントロピーの範囲

条件

$X$ は有限集合 $\mathcal{X}$ に値をとる離散確率変数。

主張

$0 \le H(X) \le \log_2|\mathcal{X}|$ 。下限の等号は $X$ がある1つの値を確率1でとるとき、上限の等号は $X$ が $\mathcal{X}$ 上の一様分布のときに限り成り立つ。

要点

上限は $D(p\|u) = \log_2|\mathcal{X}| - H(X) \ge 0$ （ $u$ は一様分布）から出る。連続な確率変数の微分エントロピーは負にもなり、この範囲は成り立たない。

定理・法則

ギブスの不等式

条件

$p, q$ は同じ有限集合上の確率分布。

主張

$D(p\|q) \ge 0$ で、等号は $p = q$ のときに限る。

要点

$\ln t \le t - 1$ （等号は $t = 1$ ）を $t = q(x)/p(x)$ に使い、 $p(x) > 0$ の範囲で足す。KL ダイバージェンスは一般に $D(p\|q) \ne D(q\|p)$ で、距離の公理（対称性・三角不等式）は満たさない。

定理・法則

連鎖律と相互情報量の非負性

条件

$X, Y$ は離散確率変数。

主張

H(X, Y) = H(X) + H(Y \mid X) = H(Y) + H(X \mid Y)

I(X;Y) = H(X) - H(X \mid Y) \ge 0

等号 $I(X;Y) = 0$ は $X$ と $Y$ が独立なときに限る。特に $H(X \mid Y) \le H(X)$ 。

要点

$H(X \mid Y) \le H(X)$ は $Y$ について平均したときの不等式である。特定の値 $y$ では $H(X \mid Y = y) > H(X)$ となることがある。

定理・法則

データ処理不等式

条件

$X \to Y \to Z$ がマルコフ連鎖（ $Y$ を与えると $X$ と $Z$ が条件付き独立）。

主張

$I(X; Z) \le I(X; Y)$ 。

要点

$Y$ をどう加工した $Z = g(Y)$ でも、 $X$ についての情報は増えない。

エントロピーと相互情報量の関係式

相互情報量の表し方: $I(X;Y) = H(X) - H(X\mid Y) = H(Y) - H(Y \mid X) = H(X) + H(Y) - H(X,Y)$
自分自身との相互情報量: $I(X;X) = H(X)$
二値エントロピー関数: $h(p) = -p\log_2 p - (1-p)\log_2(1-p), \qquad h(0) = h(1) = 0,\ h(1/2) = 1$
$h$ は上に凸で $p = 1/2$ で最大。 $h(0.1) \approx 0.469$ 、 $h(1/4) \approx 0.811$ 。
独立な変数: $X, Y \text{ が独立} \Rightarrow H(X, Y) = H(X) + H(Y)$
関数: $H(g(X)) \le H(X)$
等号は $g$ が $X$ のとる値の上で単射のとき。

エントロピーと相互情報量の計算例

計算例

4値の情報源のエントロピー

$X$ が $a, b, c, d$ を確率 $1/2, 1/4, 1/8, 1/8$ でとるとき、 $H(X)$ を求めよ。

解答

H(X) = \frac{1}{2}\cdot 1 + \frac{1}{4}\cdot 2 + \frac{1}{8}\cdot 3 + \frac{1}{8}\cdot 3 = \frac{7}{4} = 1.75 \ \text{bit}

検算

一様分布の上限 $\log_2 4 = 2$ より小さい。符号 $a \mapsto 0$ 、 $b \mapsto 10$ 、 $c \mapsto 110$ 、 $d \mapsto 111$ の平均符号長も $1.75$ で、確率がすべて2のべきのときは平均符号長がエントロピーに一致する（情報源符号化と通信路符号化）。

計算例

同時分布の表から各量を求める

$P(X=0, Y=0) = 1/2$ 、 $P(X=0, Y=1) = 1/4$ 、 $P(X=1, Y=0) = 0$ 、 $P(X=1, Y=1) = 1/4$ のとき、 $H(X)$ 、 $H(Y)$ 、 $H(X,Y)$ 、 $H(X\mid Y)$ 、 $H(Y\mid X)$ 、 $I(X;Y)$ を求めよ。

解答

周辺分布は $P(X=0) = 3/4$ 、 $P(X=1) = 1/4$ 、 $P(Y=0) = P(Y=1) = 1/2$ 。

H(X) = h(1/4) = 2 - \frac{3}{4}\log_2 3 \approx 0.811, \qquad H(Y) = 1

H(X, Y) = \frac{1}{2}\cdot 1 + \frac{1}{4}\cdot 2 + \frac{1}{4}\cdot 2 = 1.5

連鎖律から $H(X\mid Y) = 1.5 - 1 = 0.5$ 、 $H(Y \mid X) = 1.5 - 0.811 = 0.689$ 。相互情報量は

I(X;Y) = H(X) + H(Y) - H(X,Y) = \frac{3}{2} - \frac{3}{4}\log_2 3 \approx 0.311

検算

$H(X \mid Y)$ を直接求めると、 $Y = 0$ なら $X = 0$ に決まり（エントロピー0）、 $Y = 1$ なら $X$ は $0, 1$ が等確率（エントロピー1）なので $\frac{1}{2}\cdot 0 + \frac{1}{2}\cdot 1 = 0.5$ で一致する。KL ダイバージェンスの式 $\sum p(x,y)\log_2 \frac{p(x,y)}{p(x)p(y)}$ でも $0.311$ になる。

計算例

KL ダイバージェンスの非対称性

$p = (1/2, 1/2)$ 、 $q = (3/4, 1/4)$ について $D(p\|q)$ と $D(q\|p)$ を求めよ。

解答

D(p\|q) = \frac{1}{2}\log_2\frac{1/2}{3/4} + \frac{1}{2}\log_2\frac{1/2}{1/4} = 1 - \frac{1}{2}\log_2 3 \approx 0.208

D(q\|p) = \frac{3}{4}\log_2\frac{3}{2} + \frac{1}{4}\log_2\frac{1}{2} = \frac{3}{4}\log_2 3 - 1 \approx 0.189

検算

どちらも正で、 $p \ne q$ からギブスの不等式の等号は成り立たない。 $D(q\|p) = \log_2 2 - H(q) = 1 - h(1/4)$ とも一致する（ $p$ が一様分布のときの関係）。

答案でよくある誤り

1
$p(x) = 0$ の項で $\log 0$ を計算できずに止まる。 $0\log 0 = 0$ と約束しているので、確率0の項は和から除く。
2
対数の底を混ぜる。 $\ln$ で計算した値はナットで、ビットにするには $\ln 2 \approx 0.693$ で割る。答えに単位を書く。
3
$H(X \mid Y)$ を $H(X \mid Y = y)$ の1つの値で代用する。条件付きエントロピーは $p(y)$ で重みをつけた平均で、各 $y$ の値は $H(X)$ を超えることもある。
4
$H(X, Y) = H(X) + H(Y)$ を常に使う。これは独立なときだけで、一般には $H(X,Y) = H(X) + H(Y) - I(X;Y) \le H(X) + H(Y)$ 。
5
KL ダイバージェンスを距離として $D(p\|q) = D(q\|p)$ と扱う。上の計算例のように一般に非対称で、 $q(x) = 0 < p(x)$ となる $x$ があれば無限大になる。

エントロピーと相互情報量が出た院試の過去問

院試hubが年度別解説の大問を分類した集計から、この単元の内容を扱う出題を挙げる。問題文は各大学の公式過去問で確かめ、解き方は各年度の解説ページで読める。

情報エントロピー

5大学・12問（2012〜2027年度）

新しい年度の出題

京都工芸繊維大学大学院専門科目（情報工学） 2026年度第3問情報通信
名古屋工業大学情報工学系 2026年度第3問情報数学
京都大学通信情報システムコース 2025年度第3問A-3 情報理論・符号
東京大学専門科目 2025年度第3問情報理論・信号処理
京都大学知能情報学コース 2024年度第7問S-3 情報理論
名古屋大学大学院複雑系科学 2024年度第5問物3：最大エントロピーとDNAジッパー転移

解答まで無料で読める演習問題

東京大学知能機械情報学 2016年度第1問必答問題：衝突・情報量・電動機
東京大学学際情報学専攻先端表現情報学コース専門科目 2012年度第3問線形システムと相互情報量

情報エントロピーの出題実績（大学×年度）をすべて見る

情報理論の前後の単元

このページの本文を数式のLaTeXのまま読むには Markdown版。最終更新 2026-11-16。誤りに気づいたら運営者へ連絡してほしい。

情報系院試の問題集・ロードマップ

東大情報理工・東京科学大・阪大の大学別に、出題マップと類題を1冊にした教材（各4,980円）。収録内容と見本を商品ページで確認できる。

情報系の教材を見る