確率空間と確率変数条件付き確率・ベイズの定理・分布関数と密度

$\Omega$ を標本空間、$\mathcal{F}$ を $\Omega$ の部分集合の族で、$\Omega \in \mathcal{F}$ を含み、補集合と可算個の和集合で閉じたもの（$\sigma$ 加法族）とする。$\mathcal{F}$ の元を事象という。関数 $P:\mathcal{F}\to[0,1]$ が次を満たすとき確率という。

• $P(\Omega) = 1$。
• 互いに排反な事象 $A_1, A_2, \dots$ について $P\left(\bigcup_{i} A_i\right) = \sum_{i} P(A_i)$（可算加法性）。

$\Omega$ が有限集合で各根元事象が同様に確からしいときは $P(A) = |A|/|\Omega|$ で、高校の確率はこの特別な場合である。

$P(B) > 0$ のとき、$B$ が起きたという条件のもとでの $A$ の確率を

で定める。$A \mapsto P(A\mid B)$ はそれ自体が確率になる。変形すると乗法定理 $P(A\cap B) = P(B)P(A\mid B)$ が得られる。

$P(A\cap B) = P(A)P(B)$ のとき $A$ と $B$ は独立という。$P(B)>0$ なら $P(A\mid B) = P(A)$ と同値である。

$A_1, \dots, A_n$ が独立であるとは、添字の任意の部分集合 $\{i_1, \dots, i_k\}$（$k \ge 2$）について $P(A_{i_1}\cap\cdots\cap A_{i_k}) = P(A_{i_1})\cdots P(A_{i_k})$ が成り立つことをいう。2個ずつの積の式だけでは足りない。

確率変数 $X, Y$ が独立であるとは、任意の $x, y$ で $P(X\le x, Y\le y) = P(X\le x)P(Y\le y)$ が成り立つことをいう。離散型では $P(X=x, Y=y) = P(X=x)P(Y=y)$、同時密度をもつ連続型では $f_{X,Y}(x,y) = f_X(x) f_Y(y)$ と同値である。独立なら $g(X)$ と $h(Y)$ も独立になる。

確率変数 $X$ は $\Omega$ 上の実数値関数で、任意の $x$ について $\{X \le x\}$ が事象になるものをいう。$F(x) = P(X \le x)$ を分布関数という。$F$ は単調非減少、右連続で、$\lim_{x\to-\infty}F(x) = 0$、$\lim_{x\to\infty}F(x) = 1$ を満たす。

$X$ のとる値が高々可算個のとき離散型といい、確率関数 $p(x) = P(X = x)$ で分布を表す。$F(x) = \int_{-\infty}^{x} f(t)\,dt$ となる $f \ge 0$ があるとき連続型といい、$f$ を確率密度関数という。