# エントロピーと相互情報量｜定義・連鎖律・不等式・計算例

> 自己情報量とエントロピー、結合・条件付きエントロピー、相互情報量、KLダイバージェンスの定義と、連鎖律・ギブスの不等式・最大エントロピーの条件を、同時分布の表から各量を求める計算例で解説します。

- HTML版（正規URL）: https://inshihub.com/basics/information-theory/entropy-information
- 科目: [情報理論](https://inshihub.com/basics/information-theory)（大学基礎課程の数学・物理・化学・生物・情報）
- 最終更新: 2026-11-16

離散確率変数 $X$ のエントロピーは $H(X) = -\sum_x p(x)\log_2 p(x)$ で、$X$ の値を知ったときに得られる情報量の期待値である。$0 \le H(X) \le \log_2 |\mathcal{X}|$ で、上限は一様分布のときに達する。相互情報量 $I(X;Y) = H(X) - H(X \mid Y)$ は $Y$ を知ることで減る $X$ の不確かさで、0以上であり、0になるのは $X$ と $Y$ が独立なときに限る。

## 情報量とエントロピーの定義

### 定義：自己情報量とエントロピー

有限集合 $\mathcal{X}$ に値をとる確率変数 $X$ の確率関数を $p(x) = P(X = x)$ とする。事象 $X = x$ の自己情報量を $-\log_2 p(x)$、その期待値

$$H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$$

をエントロピーという。$0 \log 0 = 0$ と約束する（$\lim_{t \to +0} t\log t = 0$ による）。底を $e$ にした値の単位はナット（nat）で、$1\ \text{bit} = \ln 2\ \text{nat}$。

### 定義：結合エントロピーと条件付きエントロピー

同時分布 $p(x, y)$ に対して

$$H(X, Y) = -\sum_{x, y} p(x, y)\log_2 p(x, y), \qquad H(Y \mid X) = \sum_x p(x)\, H(Y \mid X = x) = -\sum_{x,y} p(x,y)\log_2 p(y \mid x)$$

と定める。$H(Y \mid X = x)$ は条件付き分布 $p(y \mid x)$ のエントロピーである。

### 定義：相互情報量と KL ダイバージェンス

分布 $p, q$ の KL ダイバージェンス（相対エントロピー）を

$$D(p \,\|\, q) = \sum_x p(x)\log_2\frac{p(x)}{q(x)}$$

とする。$p(x) > 0$ かつ $q(x) = 0$ となる $x$ があれば $D(p\|q) = \infty$。相互情報量は同時分布と周辺分布の積の KL ダイバージェンス

$$I(X; Y) = D\bigl(p(x,y) \,\|\, p(x)p(y)\bigr) = \sum_{x,y} p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}$$

である。

## エントロピーの性質と不等式

### 定理・法則：エントロピーの範囲

条件：

$X$ は有限集合 $\mathcal{X}$ に値をとる離散確率変数。

主張：

$0 \le H(X) \le \log_2|\mathcal{X}|$。下限の等号は $X$ がある1つの値を確率1でとるとき、上限の等号は $X$ が $\mathcal{X}$ 上の一様分布のときに限り成り立つ。

要点：

上限は $D(p\|u) = \log_2|\mathcal{X}| - H(X) \ge 0$（$u$ は一様分布）から出る。連続な確率変数の微分エントロピーは負にもなり、この範囲は成り立たない。

### 定理・法則：ギブスの不等式

条件：

$p, q$ は同じ有限集合上の確率分布。

主張：

$D(p\|q) \ge 0$ で、等号は $p = q$ のときに限る。

要点：

$\ln t \le t - 1$（等号は $t = 1$）を $t = q(x)/p(x)$ に使い、$p(x) > 0$ の範囲で足す。KL ダイバージェンスは一般に $D(p\|q) \ne D(q\|p)$ で、距離の公理（対称性・三角不等式）は満たさない。

### 定理・法則：連鎖律と相互情報量の非負性

条件：

$X, Y$ は離散確率変数。

主張：

$$H(X, Y) = H(X) + H(Y \mid X) = H(Y) + H(X \mid Y)$$

$$I(X;Y) = H(X) - H(X \mid Y) \ge 0$$

等号 $I(X;Y) = 0$ は $X$ と $Y$ が独立なときに限る。特に $H(X \mid Y) \le H(X)$。

要点：

$H(X \mid Y) \le H(X)$ は $Y$ について平均したときの不等式である。特定の値 $y$ では $H(X \mid Y = y) > H(X)$ となることがある。

### 定理・法則：データ処理不等式

条件：

$X \to Y \to Z$ がマルコフ連鎖（$Y$ を与えると $X$ と $Z$ が条件付き独立）。

主張：

$I(X; Z) \le I(X; Y)$。

要点：

$Y$ をどう加工した $Z = g(Y)$ でも、$X$ についての情報は増えない。

## エントロピーと相互情報量の関係式

- 相互情報量の表し方

  $$I(X;Y) = H(X) - H(X\mid Y) = H(Y) - H(Y \mid X) = H(X) + H(Y) - H(X,Y)$$

- 自分自身との相互情報量

  $$I(X;X) = H(X)$$

- 二値エントロピー関数

  $$h(p) = -p\log_2 p - (1-p)\log_2(1-p), \qquad h(0) = h(1) = 0,\ h(1/2) = 1$$

  $h$ は上に凸で $p = 1/2$ で最大。$h(0.1) \approx 0.469$、$h(1/4) \approx 0.811$。

- 独立な変数

  $$X, Y \text{ が独立} \Rightarrow H(X, Y) = H(X) + H(Y)$$

- 関数

  $$H(g(X)) \le H(X)$$

  等号は $g$ が $X$ のとる値の上で単射のとき。

## エントロピーと相互情報量の計算例

### 計算例：4値の情報源のエントロピー

$X$ が $a, b, c, d$ を確率 $1/2, 1/4, 1/8, 1/8$ でとるとき、$H(X)$ を求めよ。

解答：

$$H(X) = \frac{1}{2}\cdot 1 + \frac{1}{4}\cdot 2 + \frac{1}{8}\cdot 3 + \frac{1}{8}\cdot 3 = \frac{7}{4} = 1.75 \ \text{bit}$$

検算：

一様分布の上限 $\log_2 4 = 2$ より小さい。符号 $a \mapsto 0$、$b \mapsto 10$、$c \mapsto 110$、$d \mapsto 111$ の平均符号長も $1.75$ で、確率がすべて2のべきのときは平均符号長がエントロピーに一致する（[情報源符号化と通信路符号化](https://inshihub.com/basics/information-theory/source-channel-coding)）。

### 計算例：同時分布の表から各量を求める

$P(X=0, Y=0) = 1/2$、$P(X=0, Y=1) = 1/4$、$P(X=1, Y=0) = 0$、$P(X=1, Y=1) = 1/4$ のとき、$H(X)$、$H(Y)$、$H(X,Y)$、$H(X\mid Y)$、$H(Y\mid X)$、$I(X;Y)$ を求めよ。

解答：

周辺分布は $P(X=0) = 3/4$、$P(X=1) = 1/4$、$P(Y=0) = P(Y=1) = 1/2$。

$$H(X) = h(1/4) = 2 - \frac{3}{4}\log_2 3 \approx 0.811, \qquad H(Y) = 1$$

$$H(X, Y) = \frac{1}{2}\cdot 1 + \frac{1}{4}\cdot 2 + \frac{1}{4}\cdot 2 = 1.5$$

連鎖律から $H(X\mid Y) = 1.5 - 1 = 0.5$、$H(Y \mid X) = 1.5 - 0.811 = 0.689$。相互情報量は

$$I(X;Y) = H(X) + H(Y) - H(X,Y) = \frac{3}{2} - \frac{3}{4}\log_2 3 \approx 0.311$$

検算：

$H(X \mid Y)$ を直接求めると、$Y = 0$ なら $X = 0$ に決まり（エントロピー0）、$Y = 1$ なら $X$ は $0, 1$ が等確率（エントロピー1）なので $\frac{1}{2}\cdot 0 + \frac{1}{2}\cdot 1 = 0.5$ で一致する。KL ダイバージェンスの式 $\sum p(x,y)\log_2 \frac{p(x,y)}{p(x)p(y)}$ でも $0.311$ になる。

### 計算例：KL ダイバージェンスの非対称性

$p = (1/2, 1/2)$、$q = (3/4, 1/4)$ について $D(p\|q)$ と $D(q\|p)$ を求めよ。

解答：

$$D(p\|q) = \frac{1}{2}\log_2\frac{1/2}{3/4} + \frac{1}{2}\log_2\frac{1/2}{1/4} = 1 - \frac{1}{2}\log_2 3 \approx 0.208$$

$$D(q\|p) = \frac{3}{4}\log_2\frac{3}{2} + \frac{1}{4}\log_2\frac{1}{2} = \frac{3}{4}\log_2 3 - 1 \approx 0.189$$

検算：

どちらも正で、$p \ne q$ からギブスの不等式の等号は成り立たない。$D(q\|p) = \log_2 2 - H(q) = 1 - h(1/4)$ とも一致する（$p$ が一様分布のときの関係）。

## 答案でよくある誤り

1. $p(x) = 0$ の項で $\log 0$ を計算できずに止まる。$0\log 0 = 0$ と約束しているので、確率0の項は和から除く。
2. 対数の底を混ぜる。$\ln$ で計算した値はナットで、ビットにするには $\ln 2 \approx 0.693$ で割る。答えに単位を書く。
3. $H(X \mid Y)$ を $H(X \mid Y = y)$ の1つの値で代用する。条件付きエントロピーは $p(y)$ で重みをつけた平均で、各 $y$ の値は $H(X)$ を超えることもある。
4. $H(X, Y) = H(X) + H(Y)$ を常に使う。これは独立なときだけで、一般には $H(X,Y) = H(X) + H(Y) - I(X;Y) \le H(X) + H(Y)$。
5. KL ダイバージェンスを距離として $D(p\|q) = D(q\|p)$ と扱う。上の計算例のように一般に非対称で、$q(x) = 0 < p(x)$ となる $x$ があれば無限大になる。

## エントロピーと相互情報量が出た院試の過去問

### [情報エントロピー](https://inshihub.com/exam-themes/information-entropy)（5大学・12問）

- [京都工芸繊維大学大学院 専門科目（情報工学） 2026年度 第3問](https://inshihub.com/exam-solutions/kyoto-institute-of-technology/graduate-school-of-science-and-technology/information-engineering/2026-third#problem-3): 情報通信
- [名古屋工業大学 情報工学系 2026年度 第3問](https://inshihub.com/exam-solutions/nagoya-institute-of-technology/graduate-school-of-engineering/information-engineering/2026#problem-3): 情報数学
- [京都大学 通信情報システムコース 2025年度 第3問](https://inshihub.com/exam-solutions/kyoto-university/graduate-school-of-informatics/communications-and-computer-engineering/2025#problem-3): A-3 情報理論・符号
- [東京大学 専門科目 2025年度 第3問](https://inshihub.com/exam-solutions/tokyo-university/graduate-school-of-engineering/electrical-engineering-and-information-systems/2025#problem-3): 情報理論・信号処理
- [京都大学 知能情報学コース 2024年度 第7問](https://inshihub.com/exam-solutions/kyoto-university/graduate-school-of-informatics/intelligence-science-and-technology/2024#problem-7): S-3 情報理論
- [名古屋大学大学院 複雑系科学 2024年度 第5問](https://inshihub.com/exam-solutions/nagoya-university/graduate-school-of-informatics/complex-systems-science/2024#problem-5): 物3：最大エントロピーとDNAジッパー転移

解答まで無料で読める演習問題:

- [東京大学 知能機械情報学 2016年度 第1問](https://inshihub.com/exam-solutions/tokyo-university/information-science/mechano-informatics/2016#problem-1): 必答問題：衝突・情報量・電動機
- [東京大学 学際情報学専攻 先端表現情報学コース 専門科目 2012年度 第3問](https://inshihub.com/exam-solutions/tokyo-university/graduate-school-of-interdisciplinary-information-studies/emerging-design-and-informatics/2012#problem-3): 線形システムと相互情報量