設問1 最尤推定量
最尤推定量は、観測値を固定して尤度 L(θ) を θ の関数と見たときの最大点である。多くの問題では logL を微分して 0 とおくが、本問では dθdlogL=−θn が 0 にならず、停留点がない。密度の台 [0,2θ] が θ に依存するモデルでは、尤度が θ の動く範囲の端で不連続になり、最大は微分が 0 になる点ではなく、不連続な点で起こる。一様分布の端点が母数のときは、まず尤度を場合分けで書く。
確かめる例として、n=3 で観測値が 0.4, 1.7, 0.9 なら max=1.7 で θ=0.85 である。θ=0.85 の尤度は 1.7−3≈0.2035、θ=0.9 では 1.8−3≈0.1715 と小さく、θ=0.8 では 2θ=1.6<1.7 のため尤度は 0 になる。
誤りとして、θn=maxXi と書くものがある。台は [0,2θ] なので 2θ=M が正しい。θ=1.7 とすると 2θ=3.4 で、尤度は 3.4−3≈0.0254 と、最大値 0.2035 の8分の1程度に下がる。標本平均 Xn を θ の推定量にする方法(モーメント法)は、最尤法とは別の推定量で、設問3で比較する対象である。
設問2 不偏推定量となる c
最大値は真の右端 2θ を超えないので、M は常に 2θ の側へ偏り、E[M]=n+12nθ<2θ となる。n=4 なら E[θ4]=0.8θ で、不偏にするには c=45 を掛ける。逆数を取り違えて c=n+1n とすると E[Tn]=(n+1n)2θ で、n=4 では 0.64θ と、元の推定量より偏りが大きくなる。無作為に 5 個ずつ取る試行を40万回繰り返したシミュレーション(θ=1)では E[T5] が 1.0003 で、1 に一致した。
設問3 vn<wn の証明
使う公式
分散は V[Y]=E[Y2]−(E[Y])2 で、定数倍では V[cY]=c2V[Y] となる。独立な確率変数の和の分散は各分散の和なので V[Xn]=V[X1]/n である。区間 [0,2θ] の一様分布の分散は、幅の2乗を12で割った (2θ)2/12=θ2/3 に等しい。解答の積分はこれを導いたものである。
ベータ分布による別の導き方
B=M/(2θ) の密度は nbn−1 (0≤b≤1) で、これはベータ分布 Be(n,1) である。一般に Be(α,β) の分散は (α+β)2(α+β+1)αβ なので、V[B]=(n+1)2(n+2)n となる。Tn=nn+1θB より vn=(nn+1)2θ2V[B]=n(n+2)θ2 で、解答と一致する。
オーダーの違い
wn は 1/n に比例するが、vn は 1/n2 に近い。最大値は上端 2θ のごく近くに集まる。P(M≤2θ(1−δ))=(1−δ)n なので、2θ−M は 1/n のオーダーであり、標本平均の誤差の 1/n のオーダーより小さい。比 vn/wn=n+23 は、n=2 で 43、n=10 で 41、n=100 で 341 と小さくなる。
n=1 では T1=X1=X1 で、v1=w1=3θ2 と等しい。問題が n≥2 と限っているのはこのためである。n=5, θ=1 の40万回の試行では、V[T5]=0.0285(理論値 351=0.02857)、V[X5]=0.0668(理論値 151=0.0667)となった。
計算で起こる誤り
V[Tn]=cV[θn] と c の2乗を落とすと値が変わる。n=4 で V[θ4]=752θ2 なので、正しい v4=(45)2⋅752θ2=241θ2 に対し、c だけを掛けると 301θ2 になる。また、一様分布の分散 θ2/3 を M の分散としてそのまま使うのも誤りである。M は n 個の最大値で、n=4 では V[M]=758θ2≈0.107θ2 と、3θ2 の約3分の1である。vn→0 と不偏性から Tn が θ の一致推定量であることもわかる。
設問4 Tn は θ の不偏推定量か
不偏性は非線形な変換で保たれない
E[Tn]=θ でも E[g(Tn)]=g(θ) とは限らない。期待値は線形(和と定数倍で保たれる)だが、 のような非線形な関数の中には入らないからである。凹関数 g については、イェンセンの不等式 E[g(Y)]≤g(E[Y]) が成り立ち、g が狭義凹で Y が定数でないときは等号が崩れる。 は狭義凹なので、E[Tn]<E[Tn]=θ である。
接線の不等式で導いておく。μ=E[Y]>0 とする。(y−μ)2≥0 から y+μ≥2yμ、すなわち y≤μ+2μy−μ で、等号は y=μ のときだけである。y に Y を入れて期待値を取ると、E[Y−μ]=0 により E[Y]≤μ となる。Y が定数でなければ、y=μ にならない確率が正で、不等号は厳密になる。解答の分散を使う論法も同じ内容である。
偏りの大きさ
偏りの向きだけでなく大きさも計算できる。θE[Tn]=1−(2n+1)21 は n=2 で 526≈0.9798(約2\%の過小)、n=10 で ≈0.99887 であり、n→∞ で 1 に近づく。解答の式 V[Tn]=θ−(ETn)2 に上の値を入れると V[Tn]=θ−θ⋅(2n+1)24n(n+1)=(2n+1)2θ となり、n が大きいほど偏りも分散も小さい。偏りを補正するには、Tn に 2n(n+1)2n+1 を掛けた
Un=2n(n+1)2n+1Tn
を使えばよく、E[Un]=θ となる。n=5, θ=1 の40万回の試行では E[T5] が 0.9960 で、理論値 11230=0.99587⋯ と一致した。
判定を誤る論法
「E[Tn]=θ だから E[Tn]=θ」と書く答案は、期待値と平方根を交換している。逆に、不等号の向きだけ覚えて凸関数と凹関数を取り違える誤りもある。Tn2 なら E[Tn2]=θ2+vn>θ2 で、不等号の向きが の場合と逆になる。不偏でないことを示すには、等号が崩れる理由、つまり Tn が定数でないこと(vn>0)を答案に書く必要がある。
解答
設問1 最尤推定量
Xi の密度は、0≤x≤2θ で 2θ1、それ以外で 0 である。観測値 x1,…,xn (≥0) に対する尤度は
L(θ)=i=1∏nf(xi;θ)={(2θ)−n0(θ≥21maxixi)(θ<21maxixi)
である。θ<21maxxi ならある観測値が 2θ を超えて密度が 0 になり、尤度は 0 になる。θ≥21maxxi では (2θ)−n が θ の単調減少関数なので、θ を小さくするほど尤度は大きくなる。したがって尤度は θ=21maxxi で最大になる。
設問2 不偏推定量となる c
E[M]=∫02θm⋅(2θ)nnmn−1dm=(2θ)nn⋅n+1(2θ)n+1=n+12nθ より、E[θn]=n+1nθ である。したがって
E[Tn]=cE[θn]=n+1cnθ.
これが任意の θ>0 について θ に等しくなるのは n+1cn=1 のときである。
設問3 vn<wn の証明
Xn の分散から求める。Xi は区間 [0,2θ] の一様分布に従い、平均は θ で
V[Xi]=∫02θ2θ(x−θ)2dx=2θ1⋅32θ3=3θ2.
Xi は独立なので wn=V[Xn]=nV[X1]=3nθ2。
次に vn=V[Tn]=(2nn+1)2V[M] を求める。
E[M2]=∫02θm2(2θ)nnmn−1dm=n+2n(2θ)2,
V[M]=(2θ)2{n+2n−(n+1)2n2}=(2θ)2(n+1)2(n+2)n(n+1)2−n2(n+2)=(n+1)2(n+2)4θ2n
(分子は n(n2+2n+1)−n3−2n2=n)。よって
vn=4n2(n+1)2⋅(n+1)2(n+2)4θ2n=n(n+2)θ2.
比を取ると wnvn=n+23 である。n≥2 なら n+2≥4>3 なので vn<wn が成り立つ。
設問4 Tn は θ の不偏推定量か
不偏推定量ではない。E[Tn]=θ だから、Tn の分散を計算すると
V[Tn]=E[Tn]−(E[Tn])2=θ−(E[Tn])2.
Tn は vn=n(n+2)θ2>0 より定数でなく、したがって Tn も定数でないので V[Tn]>0 である。よって
(E[Tn])2<θ,E[Tn]<θ
となり、E[Tn]=θ である。Tn は θ の不偏推定量ではない。
実際の値は次のように求まる。Tn=nn+1θB (B=M/(2θ)) で E[B]=∫01b1/2nbn−1db=2n+12n なので
E[Tn]=nn+1θ⋅2n+12n=θ⋅2n+12n(n+1)=θ1−(2n+1)21.
最後の等号は (2n+1)2−4n(n+1)=1 による。
最終答
設問1 最尤推定量
θn=21max{X1,…,Xn}=2M
設問2 不偏推定量となる c
c=nn+1(このとき Tn=2nn+1maxiXi)
設問3 vn<wn の証明
vn=n(n+2)θ2,wn=3nθ2、wnvn=n+23<1 (n≥2) より vn<wn である。
設問4 Tn は θ の不偏推定量か
不偏推定量ではない。E[Tn]=θ1−(2n+1)21<θ で、常に過小評価する。