ベイズ推定事前分布と事後分布・共役事前分布・ベイズ推定量

ベイズ推定では母数 $\theta$ を確率変数とみなし、事前分布 $\pi(\theta)$ と尤度 $f(x\mid\theta)$ から、ベイズの定理で事後分布 $\pi(\theta\mid x) \propto f(x\mid\theta)\,\pi(\theta)$ を求める。事後分布の平均（2乗損失のベイズ推定量）、中央値、最頻値（MAP推定量）を推定値として使い、事後確率が $95\%$ になる区間を信用区間とする。事前分布と事後分布が同じ分布族に入る共役事前分布を選ぶと、事後分布はパラメータの更新だけで求まる。

確率・統計の第7単元（全8単元）。先に読む単元：点推定と最尤推定

院試数学基礎完成シリーズ確率統計編

基礎ノートと類題を答案の形で解いた問題集（2,480円）。収録章と見本ページを商品ページで確認できる。過去問の本文は収録していない。

確率統計編の内容を見る

事前分布から事後分布を求める

定義

事前分布・尤度・事後分布

母数 $\theta$ の分布として事前分布 $\pi(\theta)$ を置く。データ $\boldsymbol{x} = (x_1, \dots, x_n)$ の $\theta$ を与えたときの分布 $f(\boldsymbol{x}\mid\theta)$ を尤度とみる。ベイズの定理（確率空間と確率変数の密度版）から、事後分布は

\pi(\theta \mid \boldsymbol{x}) = \frac{f(\boldsymbol{x}\mid\theta)\,\pi(\theta)}{\int f(\boldsymbol{x}\mid\theta')\,\pi(\theta')\,d\theta'} \propto f(\boldsymbol{x}\mid\theta)\,\pi(\theta)

となる。分母 $m(\boldsymbol{x})$ は周辺尤度（エビデンス）で、 $\theta$ によらない正規化定数である。

計算では $\theta$ を含まない因子をすべて捨てて $f(\boldsymbol{x}\mid\theta)\pi(\theta)$ の $\theta$ についての形（カーネル）を書き、既知の分布の密度の形と見比べる。形が一致すれば正規化定数は計算しなくてよい。独立なデータを順に加えるときは、前の事後分布を次の事前分布として使っても、まとめて計算しても同じ事後分布になる。

共役事前分布

ベータ・二項: $\theta \sim \mathrm{Beta}(a, b),\ X \mid \theta \sim \mathrm{Bin}(n, \theta) \ \Rightarrow\ \theta \mid X = x \sim \mathrm{Beta}(a + x,\ b + n - x)$
$\mathrm{Beta}(a,b)$ の密度は $\theta^{a-1}(1-\theta)^{b-1}/B(a,b)$ 、平均 $a/(a+b)$ 。
ガンマ・ポアソン: $\lambda \sim \mathrm{Ga}(\alpha, \beta),\ X_i \mid \lambda \sim \mathrm{Po}(\lambda) \ \Rightarrow\ \lambda \mid \boldsymbol{x} \sim \mathrm{Ga}\left(\alpha + \sum x_i,\ \beta + n\right)$
$\beta$ は率。平均 $\alpha/\beta$ 。
正規・正規（分散既知）: $\mu \sim N(\mu_0, \tau^2),\ X_i \mid \mu \sim N(\mu, \sigma^2) \ \Rightarrow\ \mu \mid \boldsymbol{x} \sim N\left(\frac{\mu_0/\tau^2 + n\bar x/\sigma^2}{1/\tau^2 + n/\sigma^2},\ \frac{1}{1/\tau^2 + n/\sigma^2}\right)$
分散の逆数（精度）が足し算になり、事後平均は事前平均と $\bar x$ の精度による重み付き平均になる。

計算例

ベータ事前分布と成功回数

成功確率 $\theta$ の事前分布を $\mathrm{Beta}(2,2)$ とする。10回の独立な試行で7回成功した。事後分布、事後平均、MAP推定値を求め、最尤推定値と比べよ。

解答

\pi(\theta\mid x) \propto \theta^7(1-\theta)^3 \cdot \theta(1-\theta) = \theta^8(1-\theta)^4

なので事後分布は $\mathrm{Beta}(9, 5)$ 。事後平均は $9/14 \approx 0.643$ 、MAP推定値は密度の最大点 $(9-1)/(9+5-2) = 8/12 = 2/3 \approx 0.667$ 。最尤推定値は $7/10 = 0.7$ 。

検算

事後平均は $\dfrac{9}{14} = \dfrac{10}{14}\cdot 0.7 + \dfrac{4}{14}\cdot 0.5$ と書け、最尤推定値と事前平均 $0.5$ の重み付き平均になっている。事前分布 $\mathrm{Beta}(1,1)$ （一様分布）にすると MAP推定値は $7/10$ で最尤推定値と一致する。

計算例

ガンマ事前分布と件数データ

1日あたりの件数が $\mathrm{Po}(\lambda)$ に従い、 $\lambda$ の事前分布を $\mathrm{Ga}(2, 1)$ （率 $1$ ）とする。4日間の件数の合計が $12$ だった。 $\lambda$ の事後分布と事後平均を求めよ。

解答

\pi(\lambda\mid\boldsymbol{x}) \propto \prod_{i=1}^{4} e^{-\lambda}\lambda^{x_i} \cdot \lambda e^{-\lambda} = \lambda^{13}e^{-5\lambda}

なので事後分布は $\mathrm{Ga}(14, 5)$ 。事後平均は $14/5 = 2.8$ 、MAP推定値は $(14-1)/5 = 2.6$ 。

検算

最尤推定値は $\bar x = 3$ 、事前平均は $2$ 。事後平均 $2.8 = \dfrac{4}{5}\cdot 3 + \dfrac{1}{5}\cdot 2$ で、データ数 $4$ と事前の率 $1$ の比で重み付けされている。

損失関数とベイズ推定量

定義

ベイズ推定量

推定値 $a$ の損失を $\mathcal{L}(\theta, a)$ とし、事後期待損失 $\operatorname{E}[\mathcal{L}(\theta, a)\mid\boldsymbol{x}]$ を最小にする $a$ をベイズ推定量という。

定理・法則

損失関数とベイズ推定量の対応

条件

2乗損失では事後分散が有限、絶対損失では事後平均が有限であること。MAPの対応は事後密度が連続で最頻値が一意な場合。

主張

2乗損失 $(\theta - a)^2$ ：事後平均 $\operatorname{E}[\theta\mid\boldsymbol{x}]$ 。
絶対損失 $|\theta - a|$ ：事後中央値。
0-1 損失（ $|\theta - a| > \varepsilon$ で $1$ ）の $\varepsilon \to 0$ の極限：事後分布の最頻値（MAP推定値）。

要点

2乗損失では $\operatorname{E}[(\theta - a)^2\mid\boldsymbol{x}] = \operatorname{Var}(\theta\mid\boldsymbol{x}) + (\operatorname{E}[\theta\mid\boldsymbol{x}] - a)^2$ と分解できるので、 $a$ を事後平均にすると最小になる。

信用区間と予測分布

定義

信用区間と事後予測分布

$P(L \le \theta \le U \mid \boldsymbol{x}) = 1 - \alpha$ となる区間 $[L, U]$ を、事後確率 $1-\alpha$ の信用区間という。両側に $\alpha/2$ ずつ残す等裾区間と、密度の高い部分だけを集めた最高事後密度区間がある。

次の観測 $\tilde x$ の分布 $p(\tilde x\mid\boldsymbol{x}) = \int f(\tilde x\mid\theta)\,\pi(\theta\mid\boldsymbol{x})\,d\theta$ を事後予測分布という。

計算例

正規・正規モデルの事後分布と信用区間

$X_i \mid \mu \sim N(\mu, 1)$ （分散既知）、事前分布 $\mu \sim N(0, 1)$ とする。 $n = 4$ の観測で $\bar x = 1.5$ だった。事後分布と $\mu$ の $95\%$ 等裾信用区間を求めよ。

解答

精度は事前 $1/\tau^2 = 1$ 、データ $n/\sigma^2 = 4$ で、事後精度 $5$ 。事後平均は $(1 \cdot 0 + 4 \cdot 1.5)/5 = 1.2$ 、事後分散は $1/5 = 0.2$ 。よって $\mu\mid\boldsymbol{x} \sim N(1.2, 0.2)$ 。信用区間は

1.2 \pm 1.96\sqrt{0.2} = 1.2 \pm 0.877 = [0.32,\ 2.08]

検算

事前分布の分散 $\tau^2 \to \infty$ とすると、事後分布は $N(\bar x, \sigma^2/n) = N(1.5, 0.25)$ に近づき、信用区間は頻度論の $z$ 信頼区間 $1.5 \pm 0.98$ と数値が一致する。事後予測分布は $N(1.2,\ 1 + 0.2)$ で、観測の分散に母数の不確かさ $0.2$ が加わる。

計算例

ベータ事後分布からの予測

成功確率の事後分布が $\mathrm{Beta}(9,5)$ のとき、次の1回が成功する予測確率と、 $\theta$ の $95\%$ 等裾信用区間を求めよ。

解答

予測確率は $\int \theta\,\pi(\theta\mid x)\,d\theta = \operatorname{E}[\theta\mid x] = 9/14 \approx 0.643$ 。 $\mathrm{Beta}(9,5)$ の $2.5\%$ 点と $97.5\%$ 点は数値計算で $0.386$ と $0.861$ なので、信用区間は $[0.386,\ 0.861]$ 。

検算

事後分散は $\dfrac{9 \cdot 5}{14^2 \cdot 15} = \dfrac{3}{196}$ 、標準偏差 $0.124$ 。正規近似 $0.643 \pm 1.96 \times 0.124 = [0.40, 0.89]$ は左右対称で、ゆがんだベータ分布の分位点と少しずれる。

最尤推定との関係と事前分布の選び方

共役事前分布の例では、事後平均が最尤推定値と事前平均の重み付き平均になり、データ数 $n$ が増えるとデータ側の重みが $1$ に近づく。正則条件のもとでは、事後分布は $N(\hat\theta_{\mathrm{ML}},\ 1/(nI(\hat\theta_{\mathrm{ML}})))$ で近似できる（ベルンシュタイン・フォン・ミーゼスの定理）。 $n$ が大きいとき、ベイズ推定と最尤推定の結論は近づく。

情報の少ない事前分布として、一様分布や $N(0, \tau^2)$ の $\tau^2$ を大きくしたもの、ジェフリーズ事前分布 $\pi(\theta) \propto \sqrt{I(\theta)}$ を使う。全体の積分が無限になる非正則な事前分布は、事後分布が正規化できる（積分が有限になる）ことを確かめてから使う。

答案でよくある誤り

1
事後分布の正規化定数を計算しようとして積分で行き詰まる。 $\theta$ を含む因子だけを残し、既知の分布のカーネルと形を比べれば、パラメータが読み取れる。
2
ベータ分布の更新で失敗回数でなく試行回数 $n$ を $b$ に足す。 $\mathrm{Beta}(a,b)$ は $\mathrm{Beta}(a + x,\ b + n - x)$ に更新する。
3
ガンマ分布の率と尺度を混同する。率 $\beta$ の流儀では事後の $\beta$ に $n$ を足し、平均は $\alpha/\beta$ 。尺度 $\theta = 1/\beta$ の流儀では $1/\theta$ に $n$ を足す。
4
MAP推定値と事後平均を同じものとして扱う。ベータ分布 $\mathrm{Beta}(a,b)$ では平均 $a/(a+b)$ 、最頻値 $(a-1)/(a+b-2)$ （ $a, b > 1$ ）で値が違う。
5
信用区間と信頼区間の解釈を入れ替える。信用区間は「データを固定したとき $\theta$ が区間に入る事後確率」、信頼区間は「区間の作り方が $\theta$ を含む確率」についての主張である。

ベイズ推定が出た院試の過去問

院試hubが年度別解説の大問を分類した集計から、この単元の内容を扱う出題を挙げる。問題文は各大学の公式過去問で確かめ、解き方は各年度の解説ページで読める。