# ベイズ推定｜事前分布と事後分布・共役事前分布・ベイズ推定量

> ベイズの定理による事後分布の求め方、ベータ・二項、ガンマ・ポアソン、正規・正規の共役事前分布、事後平均・事後中央値・MAP推定量、信用区間と予測分布を解説。計算例と最尤推定との比較、典型的な誤りも載せています。

- HTML版（正規URL）: https://inshihub.com/basics/probability-statistics/bayesian-inference
- 科目: [確率・統計](https://inshihub.com/basics/probability-statistics)（大学基礎課程の数学・物理・化学・生物・情報）
- 最終更新: 2026-11-16
- 先に読む単元: [点推定と最尤推定](https://inshihub.com/basics/probability-statistics/estimation-maximum-likelihood)

ベイズ推定では母数 $\theta$ を確率変数とみなし、事前分布 $\pi(\theta)$ と尤度 $f(x\mid\theta)$ から、ベイズの定理で事後分布 $\pi(\theta\mid x) \propto f(x\mid\theta)\,\pi(\theta)$ を求める。事後分布の平均（2乗損失のベイズ推定量）、中央値、最頻値（MAP推定量）を推定値として使い、事後確率が $95\%$ になる区間を信用区間とする。事前分布と事後分布が同じ分布族に入る共役事前分布を選ぶと、事後分布はパラメータの更新だけで求まる。

## 事前分布から事後分布を求める

### 定義：事前分布・尤度・事後分布

母数 $\theta$ の分布として事前分布 $\pi(\theta)$ を置く。データ $\boldsymbol{x} = (x_1, \dots, x_n)$ の $\theta$ を与えたときの分布 $f(\boldsymbol{x}\mid\theta)$ を尤度とみる。ベイズの定理（[確率空間と確率変数](https://inshihub.com/basics/probability-statistics/probability-random-variables)の密度版）から、事後分布は

$$\pi(\theta \mid \boldsymbol{x}) = \frac{f(\boldsymbol{x}\mid\theta)\,\pi(\theta)}{\int f(\boldsymbol{x}\mid\theta')\,\pi(\theta')\,d\theta'} \propto f(\boldsymbol{x}\mid\theta)\,\pi(\theta)$$

となる。分母 $m(\boldsymbol{x})$ は周辺尤度（エビデンス）で、$\theta$ によらない正規化定数である。

計算では $\theta$ を含まない因子をすべて捨てて $f(\boldsymbol{x}\mid\theta)\pi(\theta)$ の $\theta$ についての形（カーネル）を書き、既知の分布の密度の形と見比べる。形が一致すれば正規化定数は計算しなくてよい。独立なデータを順に加えるときは、前の事後分布を次の事前分布として使っても、まとめて計算しても同じ事後分布になる。

## 共役事前分布

- ベータ・二項

  $$\theta \sim \mathrm{Beta}(a, b),\ X \mid \theta \sim \mathrm{Bin}(n, \theta) \ \Rightarrow\ \theta \mid X = x \sim \mathrm{Beta}(a + x,\ b + n - x)$$

  $\mathrm{Beta}(a,b)$ の密度は $\theta^{a-1}(1-\theta)^{b-1}/B(a,b)$、平均 $a/(a+b)$。

- ガンマ・ポアソン

  $$\lambda \sim \mathrm{Ga}(\alpha, \beta),\ X_i \mid \lambda \sim \mathrm{Po}(\lambda) \ \Rightarrow\ \lambda \mid \boldsymbol{x} \sim \mathrm{Ga}\left(\alpha + \sum x_i,\ \beta + n\right)$$

  $\beta$ は率。平均 $\alpha/\beta$。

- 正規・正規（分散既知）

  $$\mu \sim N(\mu_0, \tau^2),\ X_i \mid \mu \sim N(\mu, \sigma^2) \ \Rightarrow\ \mu \mid \boldsymbol{x} \sim N\left(\frac{\mu_0/\tau^2 + n\bar x/\sigma^2}{1/\tau^2 + n/\sigma^2},\ \frac{1}{1/\tau^2 + n/\sigma^2}\right)$$

  分散の逆数（精度）が足し算になり、事後平均は事前平均と $\bar x$ の精度による重み付き平均になる。

### 計算例：ベータ事前分布と成功回数

成功確率 $\theta$ の事前分布を $\mathrm{Beta}(2,2)$ とする。10回の独立な試行で7回成功した。事後分布、事後平均、MAP推定値を求め、最尤推定値と比べよ。

解答：

$$\pi(\theta\mid x) \propto \theta^7(1-\theta)^3 \cdot \theta(1-\theta) = \theta^8(1-\theta)^4$$

なので事後分布は $\mathrm{Beta}(9, 5)$。事後平均は $9/14 \approx 0.643$、MAP推定値は密度の最大点 $(9-1)/(9+5-2) = 8/12 = 2/3 \approx 0.667$。最尤推定値は $7/10 = 0.7$。

検算：

事後平均は $\dfrac{9}{14} = \dfrac{10}{14}\cdot 0.7 + \dfrac{4}{14}\cdot 0.5$ と書け、最尤推定値と事前平均 $0.5$ の重み付き平均になっている。事前分布 $\mathrm{Beta}(1,1)$（一様分布）にすると MAP推定値は $7/10$ で最尤推定値と一致する。

### 計算例：ガンマ事前分布と件数データ

1日あたりの件数が $\mathrm{Po}(\lambda)$ に従い、$\lambda$ の事前分布を $\mathrm{Ga}(2, 1)$（率 $1$）とする。4日間の件数の合計が $12$ だった。$\lambda$ の事後分布と事後平均を求めよ。

解答：

$$\pi(\lambda\mid\boldsymbol{x}) \propto \prod_{i=1}^{4} e^{-\lambda}\lambda^{x_i} \cdot \lambda e^{-\lambda} = \lambda^{13}e^{-5\lambda}$$

なので事後分布は $\mathrm{Ga}(14, 5)$。事後平均は $14/5 = 2.8$、MAP推定値は $(14-1)/5 = 2.6$。

検算：

最尤推定値は $\bar x = 3$、事前平均は $2$。事後平均 $2.8 = \dfrac{4}{5}\cdot 3 + \dfrac{1}{5}\cdot 2$ で、データ数 $4$ と事前の率 $1$ の比で重み付けされている。

## 損失関数とベイズ推定量

### 定義：ベイズ推定量

推定値 $a$ の損失を $\mathcal{L}(\theta, a)$ とし、事後期待損失 $\operatorname{E}[\mathcal{L}(\theta, a)\mid\boldsymbol{x}]$ を最小にする $a$ をベイズ推定量という。

### 定理・法則：損失関数とベイズ推定量の対応

条件：

2乗損失では事後分散が有限、絶対損失では事後平均が有限であること。MAPの対応は事後密度が連続で最頻値が一意な場合。

主張：

- 2乗損失 $(\theta - a)^2$：事後平均 $\operatorname{E}[\theta\mid\boldsymbol{x}]$。
- 絶対損失 $|\theta - a|$：事後中央値。
- 0-1 損失（$|\theta - a| > \varepsilon$ で $1$）の $\varepsilon \to 0$ の極限：事後分布の最頻値（MAP推定値）。

要点：

2乗損失では $\operatorname{E}[(\theta - a)^2\mid\boldsymbol{x}] = \operatorname{Var}(\theta\mid\boldsymbol{x}) + (\operatorname{E}[\theta\mid\boldsymbol{x}] - a)^2$ と分解できるので、$a$ を事後平均にすると最小になる。

## 信用区間と予測分布

### 定義：信用区間と事後予測分布

$P(L \le \theta \le U \mid \boldsymbol{x}) = 1 - \alpha$ となる区間 $[L, U]$ を、事後確率 $1-\alpha$ の信用区間という。両側に $\alpha/2$ ずつ残す等裾区間と、密度の高い部分だけを集めた最高事後密度区間がある。

次の観測 $\tilde x$ の分布 $p(\tilde x\mid\boldsymbol{x}) = \int f(\tilde x\mid\theta)\,\pi(\theta\mid\boldsymbol{x})\,d\theta$ を事後予測分布という。

### 計算例：正規・正規モデルの事後分布と信用区間

$X_i \mid \mu \sim N(\mu, 1)$（分散既知）、事前分布 $\mu \sim N(0, 1)$ とする。$n = 4$ の観測で $\bar x = 1.5$ だった。事後分布と $\mu$ の $95\%$ 等裾信用区間を求めよ。

解答：

精度は事前 $1/\tau^2 = 1$、データ $n/\sigma^2 = 4$ で、事後精度 $5$。事後平均は $(1 \cdot 0 + 4 \cdot 1.5)/5 = 1.2$、事後分散は $1/5 = 0.2$。よって $\mu\mid\boldsymbol{x} \sim N(1.2, 0.2)$。信用区間は

$$1.2 \pm 1.96\sqrt{0.2} = 1.2 \pm 0.877 = [0.32,\ 2.08]$$

検算：

事前分布の分散 $\tau^2 \to \infty$ とすると、事後分布は $N(\bar x, \sigma^2/n) = N(1.5, 0.25)$ に近づき、信用区間は頻度論の $z$ 信頼区間 $1.5 \pm 0.98$ と数値が一致する。事後予測分布は $N(1.2,\ 1 + 0.2)$ で、観測の分散に母数の不確かさ $0.2$ が加わる。

### 計算例：ベータ事後分布からの予測

成功確率の事後分布が $\mathrm{Beta}(9,5)$ のとき、次の1回が成功する予測確率と、$\theta$ の $95\%$ 等裾信用区間を求めよ。

解答：

予測確率は $\int \theta\,\pi(\theta\mid x)\,d\theta = \operatorname{E}[\theta\mid x] = 9/14 \approx 0.643$。$\mathrm{Beta}(9,5)$ の $2.5\%$ 点と $97.5\%$ 点は数値計算で $0.386$ と $0.861$ なので、信用区間は $[0.386,\ 0.861]$。

検算：

事後分散は $\dfrac{9 \cdot 5}{14^2 \cdot 15} = \dfrac{3}{196}$、標準偏差 $0.124$。正規近似 $0.643 \pm 1.96 \times 0.124 = [0.40, 0.89]$ は左右対称で、ゆがんだベータ分布の分位点と少しずれる。

## 最尤推定との関係と事前分布の選び方

共役事前分布の例では、事後平均が最尤推定値と事前平均の重み付き平均になり、データ数 $n$ が増えるとデータ側の重みが $1$ に近づく。正則条件のもとでは、事後分布は $N(\hat\theta_{\mathrm{ML}},\ 1/(nI(\hat\theta_{\mathrm{ML}})))$ で近似できる（ベルンシュタイン・フォン・ミーゼスの定理）。$n$ が大きいとき、ベイズ推定と[最尤推定](https://inshihub.com/basics/probability-statistics/estimation-maximum-likelihood)の結論は近づく。

情報の少ない事前分布として、一様分布や $N(0, \tau^2)$ の $\tau^2$ を大きくしたもの、ジェフリーズ事前分布 $\pi(\theta) \propto \sqrt{I(\theta)}$ を使う。全体の積分が無限になる非正則な事前分布は、事後分布が正規化できる（積分が有限になる）ことを確かめてから使う。

## 答案でよくある誤り

1. 事後分布の正規化定数を計算しようとして積分で行き詰まる。$\theta$ を含む因子だけを残し、既知の分布のカーネルと形を比べれば、パラメータが読み取れる。
2. ベータ分布の更新で失敗回数でなく試行回数 $n$ を $b$ に足す。$\mathrm{Beta}(a,b)$ は $\mathrm{Beta}(a + x,\ b + n - x)$ に更新する。
3. ガンマ分布の率と尺度を混同する。率 $\beta$ の流儀では事後の $\beta$ に $n$ を足し、平均は $\alpha/\beta$。尺度 $\theta = 1/\beta$ の流儀では $1/\theta$ に $n$ を足す。
4. MAP推定値と事後平均を同じものとして扱う。ベータ分布 $\mathrm{Beta}(a,b)$ では平均 $a/(a+b)$、最頻値 $(a-1)/(a+b-2)$（$a, b > 1$）で値が違う。
5. 信用区間と信頼区間の解釈を入れ替える。信用区間は「データを固定したとき $\theta$ が区間に入る事後確率」、信頼区間は「区間の作り方が $\theta$ を含む確率」についての主張である。

## ベイズ推定が出た院試の過去問

### [ベイズ推定](https://inshihub.com/exam-themes/bayes-estimation)（3大学・6問）

- [京都大学 知能情報学コース 2025年度 第5問](https://inshihub.com/exam-solutions/kyoto-university/graduate-school-of-informatics/intelligence-science-and-technology/2025#problem-5): S-1 統計
- [京都大学 システム科学コース 2025年度 第8問](https://inshihub.com/exam-solutions/kyoto-university/graduate-school-of-informatics/systems-science/2025#problem-8): 確率統計2
- [京都大学 社会情報学コース 2024年度 第6問](https://inshihub.com/exam-solutions/kyoto-university/graduate-school-of-informatics/social-informatics/2024#problem-6): 専門 T1：確率的推論
- [九州大学大学院 数学 2023年度 第4問](https://inshihub.com/exam-solutions/kyushu-university/graduate-school-of-information-science-and-electrical-engineering/information-science-mathematics/2023#problem-4): 確率・統計
- [東京科学大学 システム制御系 数学 2021年度 第3問](https://inshihub.com/exam-solutions/institute-of-science-tokyo/school-of-engineering/system-control-engineering/2021-makeup#problem-3): ベイズ推定と最尤推定