点推定と最尤推定不偏性・一致性・フィッシャー情報量・クラメール・ラオの不等式

$\partial\ell/\partial\mu = \sum(x_i - \mu)/\sigma^2 = 0$ から $\hat\mu = \bar x$。$\partial\ell/\partial\sigma^2 = -n/(2\sigma^2) + \sum(x_i-\mu)^2/(2\sigma^4) = 0$ に $\mu = \bar x$ を入れて $\hat\sigma^2 = \dfrac{1}{n}\sum(x_i - \bar x)^2$。

観測値では $\bar x = 20/5 = 4$、偏差の2乗和は $4 + 0 + 0 + 1 + 1 = 6$ なので $\hat\mu = 4$、$\hat\sigma^2 = 6/5 = 1.2$。

$\hat\sigma^2$ は $n$ で割るので不偏でなく、$\operatorname{E}[\hat\sigma^2] = (n-1)\sigma^2/n$。同じデータの不偏分散は $6/4 = 1.5$ である。$n \to \infty$ で両者の差は $0$ に近づき、どちらも一致推定量である。

$\ell(\lambda) = n\log\lambda - \lambda\sum x_i$。$\ell'(\lambda) = n/\lambda - \sum x_i = 0$ から $\hat\lambda = n/\sum x_i = 1/\bar x$。$\ell''(\lambda) = -n/\lambda^2 < 0$ なので最大である。観測値では $\hat\lambda = 4/12 = 1/3$。

平均 $\theta = 1/\lambda$ で表した最尤推定量は $\hat\theta = \bar x = 3$ で、$1/\hat\lambda$ と一致する（最尤推定量の不変性）。

$\log f(x;\lambda) = -\lambda + x\log\lambda - \log x!$ で、$\partial^2/\partial\lambda^2 = -x/\lambda^2$。よって $I(\lambda) = \operatorname{E}[X]/\lambda^2 = 1/\lambda$、下界は $\lambda/n$。$\bar X$ は不偏で $\operatorname{Var}(\bar X) = \lambda/n$ なので、下界に一致し有効推定量である。$\bar X$ は最尤推定量でもある。

1階微分の2乗で計算しても $\operatorname{E}[(X/\lambda - 1)^2] = \operatorname{Var}(X)/\lambda^2 = 1/\lambda$ で同じ値になる。

$L(\theta) = \theta^{-n}$（$\theta \ge \max_i x_i$）、それ以外で $0$。$\theta^{-n}$ は減少関数なので、$\hat\theta = M = \max_i X_i$ で最大になる。尤度方程式 $L'(\theta) = 0$ には解がない。

$P(M \le x) = (x/\theta)^n$ から密度 $nx^{n-1}/\theta^n$ で、$\operatorname{E}[M] = \dfrac{n}{n+1}\theta$、$\operatorname{Var}(M) = \dfrac{n\theta^2}{(n+1)^2(n+2)}$。不偏にした $\dfrac{n+1}{n}M$ の分散は $\dfrac{\theta^2}{n(n+2)}$。$2\bar X$ は不偏で分散 $4 \cdot \dfrac{\theta^2}{12n} = \dfrac{\theta^2}{3n}$。

$n \ge 2$ で $\dfrac{\theta^2}{n(n+2)} < \dfrac{\theta^2}{3n}$ となり、$M$ にもとづく推定量の分散は $1/n^2$ の速さで小さくなる。正則な場合の $1/n$ より速く、クラメール・ラオの不等式が使えない例になっている。$n = 1$ では両者は一致する。