設問1 P ( X = k , Y = t − k ∣ T = t ) P(X=k,\,Y=t-k\mid T=t) P ( X = k , Y = t − k ∣ T = t )
三項分布は、n n n 回の独立な試行で、各回が結果1、2、3を確率 p , 2 p , 1 − 3 p p,\ 2p,\ 1-3p p , 2 p , 1 − 3 p でとるときの各結果の回数 ( X , Y , Z ) (X,Y,Z) ( X , Y , Z ) の分布である。T = X + Y T=X+Y T = X + Y は「結果1または2」が起きた回数で、確率 3 p 3p 3 p の二項分布に従う。T = t T=t T = t を与えると、その t t t 回のうち結果1だった回数が X X X で、各回が結果1である確率は p p + 2 p = 1 3 \frac{p}{p+2p}=\frac13 p + 2 p p = 3 1 になる。この説明が、計算結果 B i n ( t , 1 3 ) \mathrm{Bin}(t,\frac13) Bin ( t , 3 1 ) の意味である。条件付き確率の定義は P ( A ∣ B ) = P ( A ∩ B ) / P ( B ) P(A\mid B)=P(A\cap B)/P(B) P ( A ∣ B ) = P ( A ∩ B ) / P ( B ) で、B = { T = t } B=\{T=t\} B = { T = t } の確率が分母になる。
結果が p p p を含まない点に意味がある。条件付き分布が母数に依らない統計量を十分統計量といい、T T T は p p p の十分統計量である。尤度は p x + y ( 1 − 3 p ) n − x − y p^{x+y}(1-3p)^{n-x-y} p x + y ( 1 − 3 p ) n − x − y に比例して T T T だけを通じて p p p に依存する。この性質が設問3の改良につながる。厳密な分数計算で n = 5 , 6 , 8 , 10 n=5,6,8,10 n = 5 , 6 , 8 , 10 の全ての ( t , k ) (t,k) ( t , k ) について公式を確かめ、n = 6 n=6 n = 6 では p = 1 10 p=\frac1{10} p = 10 1 と p = 1 7 p=\frac17 p = 7 1 の t = 3 t=3 t = 3 の条件付き分布がともに ( 8 27 , 4 9 , 2 9 , 1 27 ) \bigl(\frac8{27},\frac49,\frac29,\frac1{27}\bigr) ( 27 8 , 9 4 , 9 2 , 27 1 ) になることも確かめた。
条件付き分布を B i n ( t , p ) \mathrm{Bin}(t,p) Bin ( t , p ) と書く答案がある。確率の和は 1 1 1 になるので見つけにくいが、n = 10 , p = 1 10 , t = 6 n=10,\ p=\frac1{10},\ t=6 n = 10 , p = 10 1 , t = 6 では E [ X / n ∣ T = 6 ] E[X/n\mid T=6] E [ X / n ∣ T = 6 ] が 0.06 0.06 0.06 になり、正しい 0.2 0.2 0.2 の3分の1にも満たない。もう1つは、同時確率 P ( X = k , Y = t − k ) P(X=k,Y=t-k) P ( X = k , Y = t − k ) を求めて分母の P ( T = t ) P(T=t) P ( T = t ) で割らないものである。確率の和が 1 1 1 にならないので、∑ k P ( ⋅ ) = ( n t ) ( 3 p ) t ( 1 − 3 p ) n − t \sum_kP(\cdot)=\binom nt(3p)^t(1-3p)^{n-t} ∑ k P ( ⋅ ) = ( t n ) ( 3 p ) t ( 1 − 3 p ) n − t で止まっていないかを見る。
設問2 条件付き期待値の不等式
二乗誤差は、分散と偏りの2乗の和に分かれる。E [ ( W − p ) 2 ] = V [ W ] + ( E [ W ] − p ) 2 E[(W-p)^2]=V[W]+(E[W]-p)^2 E [( W − p ) 2 ] = V [ W ] + ( E [ W ] − p ) 2 で、p p p が W W W の平均 μ \mu μ からどれだけ離れていても、W W W 自身のばらつき V [ W ] V[W] V [ W ] が加わる。これを条件付き分布 P ( ⋅ ∣ T = t ) P(\cdot\mid T=t) P ( ⋅ ∣ T = t ) のもとで使ったのが上の解答である。( t 3 n − p ) 2 (\frac t{3n}-p)^2 ( 3 n t − p ) 2 は、t 3 n \frac t{3n} 3 n t を定数と見たときの二乗誤差で、定数にはばらつきがないので分散の項が現れない。
t = 0 t=0 t = 0 では T = 0 T=0 T = 0 から X = 0 X=0 X = 0 が決まり、条件付き分散が 0 0 0 なので等号になる。問題が t = 1 , … , n t=1,\dots,n t = 1 , … , n に限っているのは、このためである。
数値で確かめる。n = 10 , p = 1 10 , t = 6 n=10,\ p=\frac1{10},\ t=6 n = 10 , p = 10 1 , t = 6 では、左辺 = ( 0.2 − 0.1 ) 2 + 12 900 = 7 300 = 0.02333 =(0.2-0.1)^2+\frac{12}{900}=\frac7{300}=0.02333 = ( 0.2 − 0.1 ) 2 + 900 12 = 300 7 = 0.02333 、右辺 = 0.01 =0.01 = 0.01 である。分数による厳密な計算で、n = 5 , 6 , 8 , 10 n=5,6,8,10 n = 5 , 6 , 8 , 10 の全ての t = 0 , … , n t=0,\dots,n t = 0 , … , n について等式 E [ ( X / n − p ) 2 ∣ T = t ] = ( t 3 n − p ) 2 + 2 t 9 n 2 E[(X/n-p)^2\mid T=t]=(\frac t{3n}-p)^2+\frac{2t}{9n^2} E [( X / n − p ) 2 ∣ T = t ] = ( 3 n t − p ) 2 + 9 n 2 2 t が成り立つことを確かめた。
条件付き分散を落として等号 E [ ( X / n − p ) 2 ∣ T = t ] = ( t 3 n − p ) 2 E[(X/n-p)^2\mid T=t]=(\frac t{3n}-p)^2 E [( X / n − p ) 2 ∣ T = t ] = ( 3 n t − p ) 2 と書く答案は、t = 0 t=0 t = 0 以外で誤りになる。条件付き分散を V [ X ∣ T = t ] = t p ( 1 − p ) V[X\mid T=t]=tp(1-p) V [ X ∣ T = t ] = tp ( 1 − p ) と書く答案もある。設問1で見たとおり、条件付き分布の成功確率は 1 3 \frac13 3 1 で、p p p は現れない。
設問3 期待値の比較
全確率の法則 E [ W ] = ∑ t P ( T = t ) E [ W ∣ T = t ] E[W]=\sum_tP(T=t)E[W\mid T=t] E [ W ] = ∑ t P ( T = t ) E [ W ∣ T = t ] は、期待値を条件付き期待値の平均に分ける。t = 0 t=0 t = 0 を含めて等式を作ったのは、t = 0 t=0 t = 0 の項が不等式では等号になり、その確率 P ( T = 0 ) = ( 1 − 3 p ) n > 0 P(T=0)=(1-3p)^n>0 P ( T = 0 ) = ( 1 − 3 p ) n > 0 が全体の不等式の厳密さに影響するからである。各 t ≥ 1 t\ge1 t ≥ 1 で厳密な不等式が出ても、和をとる段で P ( T ≥ 1 ) = 1 − ( 1 − 3 p ) n > 0 P(T\ge1)=1-(1-3p)^n>0 P ( T ≥ 1 ) = 1 − ( 1 − 3 p ) n > 0 を確認する必要がある。上の解答は、差が 2 p 3 n \frac{2p}{3n} 3 n 2 p という具体的な正の数になるので、この確認を含んでいる。
直接計算でも確かめられる。X ∼ B i n ( n , p ) X\sim\mathrm{Bin}(n,p) X ∼ Bin ( n , p ) なので E [ ( X / n − p ) 2 ] = p ( 1 − p ) n E[(X/n-p)^2]=\dfrac{p(1-p)}n E [( X / n − p ) 2 ] = n p ( 1 − p ) である。T ∼ B i n ( n , 3 p ) T\sim\mathrm{Bin}(n,3p) T ∼ Bin ( n , 3 p ) より E [ T / ( 3 n ) ] = p E[T/(3n)]=p E [ T / ( 3 n )] = p で、E [ ( T / ( 3 n ) − p ) 2 ] = V [ T ] 9 n 2 = p ( 1 − 3 p ) 3 n E[(T/(3n)-p)^2]=\dfrac{V[T]}{9n^2}=\dfrac{p(1-3p)}{3n} E [( T / ( 3 n ) − p ) 2 ] = 9 n 2 V [ T ] = 3 n p ( 1 − 3 p ) である。差は p ( 1 − p ) n − p ( 1 − 3 p ) 3 n = p 3 n { 3 ( 1 − p ) − ( 1 − 3 p ) } = 2 p 3 n \dfrac{p(1-p)}n-\dfrac{p(1-3p)}{3n}=\dfrac{p}{3n}\bigl\{3(1-p)-(1-3p)\bigr\}=\dfrac{2p}{3n} n p ( 1 − p ) − 3 n p ( 1 − 3 p ) = 3 n p { 3 ( 1 − p ) − ( 1 − 3 p ) } = 3 n 2 p で、上の結果と一致する。
この不等式の背景は、ラオ・ブラックウェルの定理である。X / n X/n X / n は p p p の不偏推定量で、T T T は十分統計量、E [ X / n ∣ T ] = T 3 n E[X/n\mid T]=\dfrac T{3n} E [ X / n ∣ T ] = 3 n T である。不偏推定量を十分統計量で条件付けると、二乗誤差が悪化しないことが一般に成り立ち、ここでは X / n X/n X / n が T T T の関数でないので、厳密に改善される。改善量 2 p 3 n \frac{2p}{3n} 3 n 2 p は、条件付き分散の平均 E [ V [ X / n ∣ T ] ] E[V[X/n\mid T]] E [ V [ X / n ∣ T ]] である。直観としては、結果1の回数 X X X だけでなく、結果2の回数 Y Y Y も p p p の情報を持つ。Y / ( 2 n ) Y/(2n) Y / ( 2 n ) も p p p の不偏推定量で、T 3 n = 1 3 ⋅ X n + 2 3 ⋅ Y 2 n \dfrac T{3n}=\dfrac13\cdot\dfrac Xn+\dfrac23\cdot\dfrac Y{2n} 3 n T = 3 1 ⋅ n X + 3 2 ⋅ 2 n Y はこの2つの加重平均である。
数値は n = 10 , p = 0.1 n=10,\ p=0.1 n = 10 , p = 0.1 で E [ ( X / n − p ) 2 ] = 0.009 E[(X/n-p)^2]=0.009 E [( X / n − p ) 2 ] = 0.009 、E [ ( T / ( 3 n ) − p ) 2 ] = 7 3000 = 0.002333 E[(T/(3n)-p)^2]=\frac7{3000}=0.002333 E [( T / ( 3 n ) − p ) 2 ] = 3000 7 = 0.002333 、差は 1 150 = 0.006667 = 2 p 3 n \frac1{150}=0.006667=\frac{2p}{3n} 150 1 = 0.006667 = 3 n 2 p である。二乗誤差は約26\%に減る。( n , p ) = ( 6 , 1 7 ) , ( 8 , 3 10 ) , ( 5 , 1 4 ) (n,p)=(6,\frac17),\ (8,\frac3{10}),\ (5,\frac14) ( n , p ) = ( 6 , 7 1 ) , ( 8 , 10 3 ) , ( 5 , 4 1 ) でも、分数の厳密計算で差が 2 p 3 n \frac{2p}{3n} 3 n 2 p と一致した。
T T T の平均を E [ T ] = n p E[T]=np E [ T ] = n p と置くと、結果が合わなくなる。T = X + Y T=X+Y T = X + Y は確率 3 p 3p 3 p の試行の回数なので E [ T ] = 3 n p E[T]=3np E [ T ] = 3 n p である。n p np n p とすると差が 2 p 9 n = 0.00222 \frac{2p}{9n}=0.00222 9 n 2 p = 0.00222 (n = 10 , p = 0.1 n=10,\ p=0.1 n = 10 , p = 0.1 )となり、直接計算の 0.009 − 0.002333 = 0.006667 0.009-0.002333=0.006667 0.009 − 0.002333 = 0.006667 と合わない。2通りの計算で差を照らし合わせれば、この誤りは見つかる。
解答
設問1 P ( X = k , Y = t − k ∣ T = t ) P(X=k,\,Y=t-k\mid T=t) P ( X = k , Y = t − k ∣ T = t )
T T T の分布
0 ≤ t ≤ n 0\le t\le n 0 ≤ t ≤ n とする。T = t T=t T = t のとき、( X , Y , Z ) = ( k , t − k , n − t ) (X,Y,Z)=(k,\,t-k,\,n-t) ( X , Y , Z ) = ( k , t − k , n − t ) (k = 0 , … , t k=0,\dots,t k = 0 , … , t )のいずれかが起こるので
P ( T = t ) = ∑ k = 0 t n ! k ! ( t − k ) ! ( n − t ) ! p k ( 2 p ) t − k ( 1 − 3 p ) n − t = ( n t ) ( 1 − 3 p ) n − t ∑ k = 0 t ( t k ) p k ( 2 p ) t − k
P(T=t)=\sum_{k=0}^t\frac{n!}{k!\,(t-k)!\,(n-t)!}\,p^k(2p)^{t-k}(1-3p)^{n-t}
=\binom nt(1-3p)^{n-t}\sum_{k=0}^t\binom tkp^k(2p)^{t-k}
P ( T = t ) = k = 0 ∑ t k ! ( t − k )! ( n − t )! n ! p k ( 2 p ) t − k ( 1 − 3 p ) n − t = ( t n ) ( 1 − 3 p ) n − t k = 0 ∑ t ( k t ) p k ( 2 p ) t − k
である。n ! k ! ( t − k ) ! ( n − t ) ! = ( n t ) ( t k ) \frac{n!}{k!(t-k)!(n-t)!}=\binom nt\binom tk k ! ( t − k )! ( n − t )! n ! = ( t n ) ( k t ) を使った。二項定理により ∑ k ( t k ) p k ( 2 p ) t − k = ( 3 p ) t \sum_k\binom tkp^k(2p)^{t-k}=(3p)^t ∑ k ( k t ) p k ( 2 p ) t − k = ( 3 p ) t なので、P ( T = t ) = ( n t ) ( 3 p ) t ( 1 − 3 p ) n − t P(T=t)=\binom nt(3p)^t(1-3p)^{n-t} P ( T = t ) = ( t n ) ( 3 p ) t ( 1 − 3 p ) n − t である。すなわち T ∼ B i n ( n , 3 p ) T\sim\mathrm{Bin}(n,3p) T ∼ Bin ( n , 3 p ) で、0 < 3 p < 1 0<3p<1 0 < 3 p < 1 より P ( T = t ) > 0 P(T=t)>0 P ( T = t ) > 0 である。
条件付き確率
事象 { X = k , Y = t − k } \{X=k,\,Y=t-k\} { X = k , Y = t − k } は { T = t } \{T=t\} { T = t } に含まれ、さらに Z = n − t Z=n-t Z = n − t が決まるので、P ( X = k , Y = t − k , T = t ) = P ( ( X , Y , Z ) = ( k , t − k , n − t ) ) P(X=k,Y=t-k,T=t)=P\bigl((X,Y,Z)=(k,t-k,n-t)\bigr) P ( X = k , Y = t − k , T = t ) = P ( ( X , Y , Z ) = ( k , t − k , n − t ) ) である。条件付き確率の定義により
P ( X = k , Y = t − k ∣ T = t ) = n ! k ! ( t − k ) ! ( n − t ) ! p k ( 2 p ) t − k ( 1 − 3 p ) n − t n ! t ! ( n − t ) ! ( 3 p ) t ( 1 − 3 p ) n − t = ( t k ) p k ( 2 p ) t − k ( 3 p ) t = ( t k ) ( 1 3 ) k ( 2 3 ) t − k \begin{align*}
P(X=k,Y=t-k\mid T=t)&=\frac{\dfrac{n!}{k!(t-k)!(n-t)!}\,p^k(2p)^{t-k}(1-3p)^{n-t}}{\dfrac{n!}{t!(n-t)!}\,(3p)^t(1-3p)^{n-t}}\\
&=\binom tk\frac{p^k(2p)^{t-k}}{(3p)^t}=\binom tk\Bigl(\frac13\Bigr)^k\Bigl(\frac23\Bigr)^{t-k}
\end{align*} P ( X = k , Y = t − k ∣ T = t ) = t ! ( n − t )! n ! ( 3 p ) t ( 1 − 3 p ) n − t k ! ( t − k )! ( n − t )! n ! p k ( 2 p ) t − k ( 1 − 3 p ) n − t = ( k t ) ( 3 p ) t p k ( 2 p ) t − k = ( k t ) ( 3 1 ) k ( 3 2 ) t − k
である。
設問2 条件付き期待値の不等式
設問1より、T = t T=t T = t のもとで X ∼ B i n ( t , 1 3 ) X\sim\mathrm{Bin}(t,\frac13) X ∼ Bin ( t , 3 1 ) なので
E [ X ∣ T = t ] = t 3 , V [ X ∣ T = t ] = t ⋅ 1 3 ⋅ 2 3 = 2 t 9
E[X\mid T=t]=\frac t3,\qquad V[X\mid T=t]=t\cdot\frac13\cdot\frac23=\frac{2t}9
E [ X ∣ T = t ] = 3 t , V [ X ∣ T = t ] = t ⋅ 3 1 ⋅ 3 2 = 9 2 t
である。W = X / n W=X/n W = X / n とおき、条件付き分布のもとで μ = E [ W ∣ T = t ] = t 3 n \mu=E[W\mid T=t]=\dfrac t{3n} μ = E [ W ∣ T = t ] = 3 n t とすると、E [ W − μ ∣ T = t ] = 0 E[W-\mu\mid T=t]=0 E [ W − μ ∣ T = t ] = 0 なので
E [ ( W − p ) 2 ∣ T = t ] = E [ ( W − μ ) 2 ∣ T = t ] + 2 ( μ − p ) E [ W − μ ∣ T = t ] + ( μ − p ) 2 = V [ W ∣ T = t ] + ( μ − p ) 2 \begin{align*}
E\bigl[(W-p)^2\mid T=t\bigr]&=E\bigl[(W-\mu)^2\mid T=t\bigr]+2(\mu-p)\,E[W-\mu\mid T=t]+(\mu-p)^2\\
&=V[W\mid T=t]+(\mu-p)^2
\end{align*} E [ ( W − p ) 2 ∣ T = t ] = E [ ( W − μ ) 2 ∣ T = t ] + 2 ( μ − p ) E [ W − μ ∣ T = t ] + ( μ − p ) 2 = V [ W ∣ T = t ] + ( μ − p ) 2
である。V [ W ∣ T = t ] = 1 n 2 V [ X ∣ T = t ] = 2 t 9 n 2 V[W\mid T=t]=\dfrac1{n^2}V[X\mid T=t]=\dfrac{2t}{9n^2} V [ W ∣ T = t ] = n 2 1 V [ X ∣ T = t ] = 9 n 2 2 t なので
E [ ( X n − p ) 2 ∣ T = t ] = ( t 3 n − p ) 2 + 2 t 9 n 2 .
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigm|T=t\Bigr]=\Bigl(\frac t{3n}-p\Bigr)^2+\frac{2t}{9n^2}.
E [ ( n X − p ) 2 T = t ] = ( 3 n t − p ) 2 + 9 n 2 2 t .
t ≥ 1 t\ge1 t ≥ 1 のとき 2 t 9 n 2 > 0 \dfrac{2t}{9n^2}>0 9 n 2 2 t > 0 なので、
E [ ( X n − p ) 2 ∣ T = t ] > ( t 3 n − p ) 2
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigm|T=t\Bigr]>\Bigl(\frac t{3n}-p\Bigr)^2
E [ ( n X − p ) 2 T = t ] > ( 3 n t − p ) 2
である。(証明終)
設問3 期待値の比較
全確率の法則により
E [ ( X n − p ) 2 ] = ∑ t = 0 n P ( T = t ) E [ ( X n − p ) 2 ∣ T = t ]
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigr]=\sum_{t=0}^nP(T=t)\,E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigm|T=t\Bigr]
E [ ( n X − p ) 2 ] = t = 0 ∑ n P ( T = t ) E [ ( n X − p ) 2 T = t ]
である。設問2の等式は t = 0 t=0 t = 0 でも成り立つ。T = 0 T=0 T = 0 なら X = 0 X=0 X = 0 なので左辺は p 2 p^2 p 2 、右辺は ( 0 − p ) 2 + 0 = p 2 (0-p)^2+0=p^2 ( 0 − p ) 2 + 0 = p 2 である。したがって全ての t = 0 , … , n t=0,\dots,n t = 0 , … , n で
E [ ( X n − p ) 2 ∣ T = t ] = ( t 3 n − p ) 2 + 2 t 9 n 2
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigm|T=t\Bigr]=\Bigl(\frac t{3n}-p\Bigr)^2+\frac{2t}{9n^2}
E [ ( n X − p ) 2 T = t ] = ( 3 n t − p ) 2 + 9 n 2 2 t
である。両辺に P ( T = t ) P(T=t) P ( T = t ) を掛けて t t t について和をとると
E [ ( X n − p ) 2 ] = E [ ( T 3 n − p ) 2 ] + 2 9 n 2 E [ T ]
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigr]=E\Bigl[\Bigl(\frac T{3n}-p\Bigr)^2\Bigr]+\frac2{9n^2}E[T]
E [ ( n X − p ) 2 ] = E [ ( 3 n T − p ) 2 ] + 9 n 2 2 E [ T ]
である。設問1より T ∼ B i n ( n , 3 p ) T\sim\mathrm{Bin}(n,3p) T ∼ Bin ( n , 3 p ) で E [ T ] = 3 n p E[T]=3np E [ T ] = 3 n p なので、最後の項は 2 ⋅ 3 n p 9 n 2 = 2 p 3 n > 0 \dfrac{2\cdot3np}{9n^2}=\dfrac{2p}{3n}>0 9 n 2 2 ⋅ 3 n p = 3 n 2 p > 0 である。したがって
E [ ( X n − p ) 2 ] = E [ ( T 3 n − p ) 2 ] + 2 p 3 n > E [ ( T 3 n − p ) 2 ]
E\Bigl[\Bigl(\frac Xn-p\Bigr)^2\Bigr]=E\Bigl[\Bigl(\frac T{3n}-p\Bigr)^2\Bigr]+\frac{2p}{3n}>E\Bigl[\Bigl(\frac T{3n}-p\Bigr)^2\Bigr]
E [ ( n X − p ) 2 ] = E [ ( 3 n T − p ) 2 ] + 3 n 2 p > E [ ( 3 n T − p ) 2 ]
である。(証明終)
最終答
設問1 P ( X = k , Y = t − k ∣ T = t ) P(X=k,\,Y=t-k\mid T=t) P ( X = k , Y = t − k ∣ T = t )
P ( X = k , Y = t − k ∣ T = t ) = ( t k ) ( 1 3 ) k ( 2 3 ) t − k P(X=k,\,Y=t-k\mid T=t)=\displaystyle\binom tk\Bigl(\frac13\Bigr)^k\Bigl(\frac23\Bigr)^{t-k} P ( X = k , Y = t − k ∣ T = t ) = ( k t ) ( 3 1 ) k ( 3 2 ) t − k (p p p に依らない。T = t T=t T = t のもとで X ∼ B i n ( t , 1 3 ) X\sim\mathrm{Bin}(t,\tfrac13) X ∼ Bin ( t , 3 1 ) )