# 点推定と最尤推定｜不偏性・一致性・フィッシャー情報量・クラメール・ラオの不等式

> 推定量の不偏性・一致性・平均2乗誤差、モーメント法と最尤推定量の求め方、フィッシャー情報量とクラメール・ラオの不等式、最尤推定量の漸近正規性を解説。正規分布・ポアソン分布・一様分布の計算例も載せています。

- HTML版（正規URL）: https://inshihub.com/basics/probability-statistics/estimation-maximum-likelihood
- 科目: [確率・統計](https://inshihub.com/basics/probability-statistics)（大学基礎課程の数学・物理・化学・生物・情報）
- 最終更新: 2026-11-16
- 先に読む単元: [大数の法則と中心極限定理](https://inshihub.com/basics/probability-statistics/limit-theorems)

最尤推定量は、観測値 $x_1, \dots, x_n$ を固定したときの尤度 $L(\theta) = \prod_i f(x_i;\theta)$ を最大にする $\theta$ である。ふつうは対数尤度 $\ell(\theta) = \log L(\theta)$ を $\theta$ で微分して $0$ とおき、解が最大であることを確かめる。推定量の良さは偏り（バイアス）と分散、その和である平均2乗誤差で比べる。正則条件のもとでは、不偏推定量の分散はクラメール・ラオの下界 $1/(nI(\theta))$ 以上で、最尤推定量は $n$ が大きいとき分散がこの下界に近い正規分布に従う。

## 推定量の良さを測る基準

### 定義：推定量・偏り・平均2乗誤差

母数 $\theta$ を、標本 $X_1, \dots, X_n$ の関数 $\hat\theta = T(X_1, \dots, X_n)$ で推定する。$\hat\theta$ を推定量、観測値を代入した値を推定値という。

偏りを $\operatorname{Bias}(\hat\theta) = \operatorname{E}_\theta[\hat\theta] - \theta$ と定め、すべての $\theta$ で $0$ なら不偏推定量という。$n \to \infty$ で $\hat\theta$ が $\theta$ に確率収束するとき一致推定量という。

- 平均2乗誤差の分解

  $$\operatorname{MSE}(\hat\theta) = \operatorname{E}_\theta[(\hat\theta - \theta)^2] = \operatorname{Var}_\theta(\hat\theta) + \operatorname{Bias}(\hat\theta)^2$$

- 標本平均

  $$\bar X = \frac{1}{n}\sum_{i=1}^{n} X_i, \quad \operatorname{E}[\bar X] = \mu, \quad \operatorname{Var}(\bar X) = \frac{\sigma^2}{n}$$

- 不偏分散

  $$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar X)^2, \quad \operatorname{E}[S^2] = \sigma^2$$

  $\sum (X_i - \bar X)^2$ の期待値が $(n-1)\sigma^2$ になるため。$n$ で割ると偏りが $-\sigma^2/n$ になる。

一致性は、偏りと分散がともに $0$ に収束すれば成り立つ（チェビシェフの不等式から $\operatorname{MSE} \to 0$ が確率収束を導く）。不偏でも分散の大きい推定量より、少し偏っていても平均2乗誤差の小さい推定量のほうがよいことがある。

## 最尤推定量の求め方

### 定義：尤度と最尤推定量

独立同分布の標本で、密度（離散型なら確率関数）を $f(x;\theta)$ とする。観測値を固定し $\theta$ の関数とみた $L(\theta) = \prod_{i=1}^{n} f(x_i;\theta)$ を尤度関数、$\ell(\theta) = \log L(\theta)$ を対数尤度という。$L(\theta)$ を最大にする $\hat\theta$ を最尤推定量という。

1. 対数尤度 $\ell(\theta) = \sum_i \log f(x_i;\theta)$ を書く。
2. 尤度方程式 $\partial\ell/\partial\theta = 0$ を解く。母数が複数なら連立方程式にする。
3. 2階微分の符号や増減表、境界での値から、解が最大であることを確かめる。
4. 台（$f > 0$ となる範囲）が $\theta$ に依存するときは微分を使わず、$L(\theta)$ の形を直接調べる。

### 計算例：正規分布の平均と分散

$X_1, \dots, X_n$ を $N(\mu, \sigma^2)$ からの標本とする。$\mu, \sigma^2$ の最尤推定量を求めよ。観測値が $2, 4, 4, 5, 5$ のときの値も求めよ。

解答：

$$\ell(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i}(x_i - \mu)^2$$

$\partial\ell/\partial\mu = \sum(x_i - \mu)/\sigma^2 = 0$ から $\hat\mu = \bar x$。$\partial\ell/\partial\sigma^2 = -n/(2\sigma^2) + \sum(x_i-\mu)^2/(2\sigma^4) = 0$ に $\mu = \bar x$ を入れて $\hat\sigma^2 = \dfrac{1}{n}\sum(x_i - \bar x)^2$。

観測値では $\bar x = 20/5 = 4$、偏差の2乗和は $4 + 0 + 0 + 1 + 1 = 6$ なので $\hat\mu = 4$、$\hat\sigma^2 = 6/5 = 1.2$。

検算：

$\hat\sigma^2$ は $n$ で割るので不偏でなく、$\operatorname{E}[\hat\sigma^2] = (n-1)\sigma^2/n$。同じデータの不偏分散は $6/4 = 1.5$ である。$n \to \infty$ で両者の差は $0$ に近づき、どちらも一致推定量である。

### 計算例：指数分布の率

$X_1, \dots, X_n \sim \mathrm{Exp}(\lambda)$（密度 $\lambda e^{-\lambda x}$）の最尤推定量を求めよ。観測値が $1, 2, 3, 6$ のときの値も求めよ。

解答：

$\ell(\lambda) = n\log\lambda - \lambda\sum x_i$。$\ell'(\lambda) = n/\lambda - \sum x_i = 0$ から $\hat\lambda = n/\sum x_i = 1/\bar x$。$\ell''(\lambda) = -n/\lambda^2 < 0$ なので最大である。観測値では $\hat\lambda = 4/12 = 1/3$。

検算：

平均 $\theta = 1/\lambda$ で表した最尤推定量は $\hat\theta = \bar x = 3$ で、$1/\hat\lambda$ と一致する（最尤推定量の不変性）。

## フィッシャー情報量とクラメール・ラオの不等式

### 定義：フィッシャー情報量

1個の観測あたりのフィッシャー情報量を

$$I(\theta) = \operatorname{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log f(X;\theta)\right)^2\right] = -\operatorname{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\right]$$

と定める。2つ目の等号は下の正則条件のもとで成り立つ。独立同分布の $n$ 個の標本の情報量は $nI(\theta)$ である。

### 定理・法則：クラメール・ラオの不等式

条件：

$X_1, \dots, X_n$ は独立同分布。台 $\{x : f(x;\theta) > 0\}$ が $\theta$ によらない。$\log f$ が $\theta$ で微分でき、$\int f\,dx$ と $\int T\prod f\,dx$ の $\theta$ での微分を積分記号の中に入れられる。$0 < I(\theta) < \infty$。$T$ は $\theta$ の不偏推定量で分散が有限。

主張：

$$\operatorname{Var}_\theta(T) \ge \frac{1}{nI(\theta)}$$

要点：

スコア $U = \partial\ell/\partial\theta$ が $\operatorname{E}[U] = 0$、$\operatorname{Cov}(T, U) = 1$ を満たすことと、コーシー・シュワルツの不等式から出る。等号が成り立つ不偏推定量を有効推定量という。一様分布 $U(0,\theta)$ のように台が $\theta$ に依存すると、この不等式は成り立たない。

### 計算例：ポアソン分布の標本平均は有効推定量

$X_1, \dots, X_n \sim \mathrm{Po}(\lambda)$ のとき、$I(\lambda)$ とクラメール・ラオの下界を求め、$\bar X$ と比べよ。

解答：

$\log f(x;\lambda) = -\lambda + x\log\lambda - \log x!$ で、$\partial^2/\partial\lambda^2 = -x/\lambda^2$。よって $I(\lambda) = \operatorname{E}[X]/\lambda^2 = 1/\lambda$、下界は $\lambda/n$。$\bar X$ は不偏で $\operatorname{Var}(\bar X) = \lambda/n$ なので、下界に一致し有効推定量である。$\bar X$ は最尤推定量でもある。

検算：

1階微分の2乗で計算しても $\operatorname{E}[(X/\lambda - 1)^2] = \operatorname{Var}(X)/\lambda^2 = 1/\lambda$ で同じ値になる。

## 最尤推定量の漸近的な性質

### 定理・法則：最尤推定量の一致性と漸近正規性

条件：

独立同分布。母数が識別可能（$\theta \ne \theta'$ なら分布が異なる）。台が $\theta$ によらない。$\log f$ が $\theta$ について3回微分でき、その3階微分が可積分な関数で抑えられる。真の値 $\theta$ が母数空間の内点で、$0 < I(\theta) < \infty$。$\hat\theta_n$ は尤度方程式の一致解。

主張：

$\hat\theta_n$ は $\theta$ の一致推定量で、

$$\sqrt{n}(\hat\theta_n - \theta) \xrightarrow{d} N\left(0, \frac{1}{I(\theta)}\right)$$

要点：

尤度方程式を真の値のまわりでテイラー展開し、スコアの和に中心極限定理、2階微分の平均に大数の法則を使う。$n$ が大きいとき、分散がクラメール・ラオの下界 $1/(nI(\theta))$ に近づく。

- 不変性

  $$\hat\theta \text{ が } \theta \text{ の最尤推定量} \Rightarrow g(\hat\theta) \text{ は } g(\theta) \text{ の最尤推定量}$$

  $g$ が1対1でないときは、$g(\theta) = \eta$ となる $\theta$ での尤度の上限を $\eta$ の尤度とみなして成り立つ。

- 近似の標準誤差

  $$\operatorname{SE}(\hat\theta) \approx \frac{1}{\sqrt{nI(\hat\theta)}}$$

### 計算例：台が母数に依存する例：一様分布 $U(0,\theta)$

$X_1, \dots, X_n \sim U(0,\theta)$ の最尤推定量を求め、その偏りと分散をモーメント推定量 $2\bar X$ と比べよ。

解答：

$L(\theta) = \theta^{-n}$（$\theta \ge \max_i x_i$）、それ以外で $0$。$\theta^{-n}$ は減少関数なので、$\hat\theta = M = \max_i X_i$ で最大になる。尤度方程式 $L'(\theta) = 0$ には解がない。

$P(M \le x) = (x/\theta)^n$ から密度 $nx^{n-1}/\theta^n$ で、$\operatorname{E}[M] = \dfrac{n}{n+1}\theta$、$\operatorname{Var}(M) = \dfrac{n\theta^2}{(n+1)^2(n+2)}$。不偏にした $\dfrac{n+1}{n}M$ の分散は $\dfrac{\theta^2}{n(n+2)}$。$2\bar X$ は不偏で分散 $4 \cdot \dfrac{\theta^2}{12n} = \dfrac{\theta^2}{3n}$。

検算：

$n \ge 2$ で $\dfrac{\theta^2}{n(n+2)} < \dfrac{\theta^2}{3n}$ となり、$M$ にもとづく推定量の分散は $1/n^2$ の速さで小さくなる。正則な場合の $1/n$ より速く、クラメール・ラオの不等式が使えない例になっている。$n = 1$ では両者は一致する。

## 答案でよくある誤り

1. 尤度方程式の解を、最大であることを確かめずに最尤推定量とする。2階微分の符号や増減を調べ、解が複数あれば尤度を比べる。
2. 台が $\theta$ に依存する分布で尤度を微分する。$U(0,\theta)$ では $L(\theta)$ の定義域 $\theta \ge \max x_i$ を書き、端点で最大になることを示す。
3. 最尤推定量はいつも不偏だと考える。正規分布の $\hat\sigma^2$ や一様分布の $\max X_i$ のように偏りがある。不偏性が問われたら $\operatorname{E}[\hat\theta]$ を計算する。
4. フィッシャー情報量を1個分の $I(\theta)$ のまま下界に使う。$n$ 個の標本では $nI(\theta)$ で、下界は $1/(nI(\theta))$ になる。
5. $\sigma$ の最尤推定量を $\sqrt{S^2}$（不偏分散の平方根）とする。不変性から $\hat\sigma = \sqrt{\hat\sigma^2}$ で、分母は $n$ である。

## 点推定と最尤推定が出た院試の過去問

### [最尤推定](https://inshihub.com/exam-themes/maximum-likelihood-estimation)（9大学・30問）

- [大阪公立大学大学院 数学 2026年度 第16問](https://inshihub.com/exam-solutions/osaka-metropolitan-university/graduate-school-of-science/mathematics/2026-spring#problem-16): 指数分布の推定
- [東京大学 専門科目B 2026年度 第14問](https://inshihub.com/exam-solutions/tokyo-university/graduate-school-of-mathematical-sciences/specialized-subject-b/2026#problem-14): 正規線形模型の推定量
- [東京都立大学大学院 情報科学域 専門科目 2026年度 第3問](https://inshihub.com/exam-solutions/tokyo-metropolitan-university/graduate-school-of-systems-design/information-science/2026-winter#problem-3): 密度関数と最尤推定
- [大阪大学 専門科目（情報数理学） 2025年度 第2問](https://inshihub.com/exam-solutions/osaka-university/graduate-school-of-information-science-and-technology/information-and-physical-sciences/2025#problem-2): 数理基礎
- [早稲田大学大学院 数学応用数理専攻 専門科目 2025年度 第10問](https://inshihub.com/exam-solutions/waseda-university/graduate-school-of-fundamental-science-and-engineering/mathematics-and-applied-mathematics/2025#problem-10): 確率統計：分散推定量のMSE
- [東京大学 社会基盤学 2025年度 第6問](https://inshihub.com/exam-solutions/tokyo-university/graduate-school-of-engineering/civil-engineering/2025#problem-6): 交通（離散選択モデルと VTTS）

解答まで無料で読める演習問題:

- [大阪大学 専門科目（情報数理学） 2025年度 第2問](https://inshihub.com/exam-solutions/osaka-university/graduate-school-of-information-science-and-technology/information-and-physical-sciences/2025#problem-2): 数理基礎
- [静岡大学大学院 情報科学 2025年度 第2問](https://inshihub.com/exam-solutions/shizuoka-university/graduate-school-of-integrated-science-and-technology/computer-science/2025#problem-2): 計算量・再帰・学習
- [東京大学 専門科目（物理学） 2012年度 第4問](https://inshihub.com/exam-solutions/tokyo-university/physics/specialized-physics/2012#problem-4): 原子核・素粒子：しきい値・飛行時間・寿命測定