阪大 基礎工学研究科 システム創成専攻 数理科学I 2022年度 院試 過去問 解答例・解説（解説6項目）

設問1　最尤推定量

最尤推定量とは、観測値を固定したときの尤度 $L(\theta)$ を最大にする $\theta$ のことである。密度が正規分布や指数分布のように台が $\theta$ によらない場合は、対数尤度を $\theta$ で微分して $0$ とおけばよい。本問の密度には $x\ge\theta$ という範囲の条件が付いていて、$\theta$ が台の端点になっている。これが微分で解けない場合の合図である。実際、$\log L=n\log\theta-2\sum\log x_i$ を微分すると $n/\theta>0$ で、$0$ になる $\theta$ は存在せず、停留点が見つからない。最大は、尤度が $0$ に落ちる直前の境界 $\theta=x_{(1)}$ で起こる。

例を挙げる。$n=3$ で観測値が $2.5,\,4,\,7$ なら、$\theta\le2.5$ の範囲で尤度は $\theta^3/(2.5\cdot4\cdot7)^2$ に比例して増加し、$\theta=2.5$ を超えると $f(2.5\mid\theta)=0$ となって尤度は $0$ になる。$\widehat\theta=2.5$ である。数値の格子で尤度を比べても、最大の位置は標本の最小値と一致した。

台の範囲を逆に読み、$\theta\ge x_i$ のつもりで最大値 $\max X_i$ を答えるのは誤りである。観測値 $2.5,4,7$ で $\theta=7$ とすると $f(2.5\mid7)=0$ で、尤度が $0$ になってしまう。標本平均を使うモーメント法も使えない。$E[X]=\int_\theta^\infty x\cdot\frac{\theta}{x^2}dx=\theta\int_\theta^\infty\frac{dx}x$ が発散し、平均が存在しないからである。

設問2　$\widehat\theta_n$ の分布関数

最小値の分布は、「最小値が $x$ 以下」の余事象「全部が $x$ より大きい」を使って求める。個々の分布関数を $F(x)$ とすると、独立な標本の最小値について $P(\min\le x)=1-\{1-F(x)\}^n$ が成り立つ。最大値の場合は逆で、$P(\max\le x)=F(x)^n$ である。本問の $F(x)=1-\theta/x$ ($x\ge\theta$) を代入すると上の式になる。

各 $X_i$ の分布関数は $x\ge\theta$ で $F(x)=\int_\theta^x\frac\theta{t^2}dt=1-\frac\theta x$ で、$1-F(x)=P(X_i>x)=\theta/x$ は生存関数と呼ばれる。最小値の議論では、分布関数より生存関数を使うほうが、独立性による積がそのまま現れて扱いやすい。$n=1$ とすると $1-\theta/x$ となり、$X_1$ 自身の分布関数に戻る。

分布関数としての性質も確かめられる。$x=\theta$ で値は $0$ になって左側と連続につながり、$x\to\infty$ で $1$ に近づき、$x$ について単調に増える。微分すると密度 $\dfrac{n\theta^n}{x^{n+1}}$ ($x>\theta$) が得られ、設問3で使う。

最大値の式と取り違える誤りは値で見分けられる。$n=3$、$x=2\theta$ のとき、本文の式は $1-(1/2)^3=7/8$ である。最大値の式 $F(x)^n=(1/2)^3=1/8$ を使うと $1/8$ になる。しかし最小値は1個の観測値より小さい側に寄るので、$P(\widehat\theta_n\le2\theta)\ge P(X_1\le2\theta)=1/2$ でなければならず、$1/8$ はこの下限にも反する。

設問3　不偏性

推定量 $\widehat\theta$ が不偏であるとは、すべての $\theta$ について $E[\widehat\theta]=\theta$ が成り立つことをいう。不偏でないことを示すには期待値を計算して $\theta$ と比べればよく、ここでは積分 $\int_\theta^\infty x^{-n}dx=\theta^{1-n}/(n-1)$ を使う。分母の $n-1$ が結論を決める。分母を $n$ と書き誤ると $E[\widehat\theta_n]=\theta$ となり、不偏と判断してしまう。

結果の向きは、計算の前に分かる。$\widehat\theta_n\ge\theta$ で、$\widehat\theta_n=\theta$ となる確率は $0$ だから、$E[\widehat\theta_n]>\theta$ となることは明らかで、推定値は常に大きめに出る。$n=3$ なら $E=1.5\theta$、$n=10$ なら $E=10\theta/9$ である。標本の大きさが増えると偏り $\theta/(n-1)$ は小さくなるが、$0$ にはならない。数値実験（$n=5$、$\theta=2$、6万回）でも平均は $2.500$ で、$5\cdot2/4=2.5$ と一致した。

偏りは補正できる。$\frac{n-1}{n}\widehat\theta_n$ の期待値は $\theta$ なので、これは不偏推定量になる。また、設問4で使うので $E[\widehat\theta_n^2]=n\theta^n\int_\theta^\infty x^{1-n}dx=\dfrac{n}{n-2}\theta^2$ も求めておくと、分散は $$\operatorname{Var}(\widehat\theta_n)=\frac{n}{n-2}\theta^2-\frac{n^2}{(n-1)^2}\theta^2=\frac{n\,\theta^2}{(n-1)^2(n-2)}$$ である。分散が有限になる条件が $n>2$ で、問題の仮定 $n\ge3$ はこれにあたる。

設問4　一致性

推定量 $\widehat\theta_n$ が一致推定量であるとは、任意の $\varepsilon>0$ について $P(|\widehat\theta_n-\theta|>\varepsilon)\to0$（$n\to\infty$）が成り立つこと、すなわち $\theta$ に確率収束することである。不偏性とは別の性質で、一方からもう一方は出ない。設問3の結果は不偏でない推定量が一致推定量になりうることを示す例になっていて、偏り $\theta/(n-1)$ が $0$ に近づくことと整合する。

別の確かめ方もある。平均二乗誤差は $$E\bigl[(\widehat\theta_n-\theta)^2\bigr]=\operatorname{Var}(\widehat\theta_n)+\left(\frac{\theta}{n-1}\right)^2=\frac{2\theta^2}{(n-1)(n-2)}\longrightarrow0$$ で、チェビシェフ（マルコフ）の不等式 $P(|\widehat\theta_n-\theta|>\varepsilon)\le E[(\widehat\theta_n-\theta)^2]/\varepsilon^2$ から同じ結論になる。ただし分散の計算は $n\ge3$ を使うので、本文の分布関数による直接の評価のほうが短い。

収束の速さは数値で見える。$\theta=1$、$\varepsilon=0.1$ のとき確率 $(1/1.1)^n$ は $n=10$ で $0.386$、$n=50$ で $0.0085$、$n=100$ で $7.3\times10^{-5}$ と、指数的に小さくなる。誤差の大きさは $\theta/n$ 程度で、$P\bigl(n(\widehat\theta_n-\theta)/\theta>s\bigr)=(1+s/n)^{-n}\to e^{-s}$ となるから、$n$ 倍した誤差は平均 $1$ の指数分布に近づく。

誤りやすい点は、「不偏でないから一致推定量でもない」と結論してしまうことである。偏り $\theta/(n-1)$ が $0$ に近づき、分散も $0$ に近づくので、この結論は成り立たない。大数の法則を使う場合は、標本平均の期待値が存在することが前提になるが、本問では $E[X]$ が発散しているので使えない。確率を直接計算する方法が自然である。