内積と直交対角化グラム・シュミットの直交化・実対称行列の対角化・正射影

実対称行列 $A$ は、固有値がすべて実数で、直交行列 $Q$ を選んで $Q^{\mathsf T}AQ$ を対角行列にできる。手順は、固有値を求め、各固有空間の基底をグラム・シュミットの直交化で正規直交基底にし、それらを列として並べて $Q$ を作る。異なる固有値の固有ベクトルは自動的に直交するので、直交化が必要なのは重複する固有値の固有空間の中だけである。

線形代数の第7単元（全9単元）。先に読む単元：固有値と固有ベクトル

院試数学基礎完成シリーズ線形代数編

基礎ノートと類題を答案の形で解いた問題集（2,480円）。収録章と見本ページを商品ページで確認できる。過去問の本文は収録していない。

線形代数編の内容を見る

内積・ノルム・直交の定義

定義

内積

実線形空間 $V$ の2つのベクトルに実数 $(\boldsymbol{u}, \boldsymbol{v})$ を対応させる規則が、対称性 $(\boldsymbol{u}, \boldsymbol{v}) = (\boldsymbol{v}, \boldsymbol{u})$ 、各変数についての線形性、正値性 $(\boldsymbol{v}, \boldsymbol{v}) \ge 0$ （等号は $\boldsymbol{v} = \boldsymbol{0}$ のときだけ）を満たすとき、これを内積という。 $\mathbb{R}^n$ の標準内積は $(\boldsymbol{u}, \boldsymbol{v}) = \boldsymbol{u}^{\mathsf T}\boldsymbol{v} = \sum u_i v_i$ 。複素線形空間では対称性を $(\boldsymbol{u}, \boldsymbol{v}) = \overline{(\boldsymbol{v}, \boldsymbol{u})}$ に変え、標準内積は $\sum u_i \overline{v_i}$ とする（どちらの変数を共役にするかは流儀があり、ここでは2番目を共役にとる）。

定義

ノルム・直交・正規直交基底

$\|\boldsymbol{v}\| = \sqrt{(\boldsymbol{v}, \boldsymbol{v})}$ をノルムという。 $(\boldsymbol{u}, \boldsymbol{v}) = 0$ のとき $\boldsymbol{u}$ と $\boldsymbol{v}$ は直交するという。どの2本も直交し、どれもノルムが $1$ の基底を正規直交基底という。正規直交基底 $\boldsymbol{e}_1, \dots, \boldsymbol{e}_n$ では、座標が $(\boldsymbol{v}, \boldsymbol{e}_i)$ で求まる。

定理・法則

コーシー・シュワルツの不等式と三角不等式

条件

$V$ は内積空間、 $\boldsymbol{u}, \boldsymbol{v} \in V$ 。

主張

|(\boldsymbol{u}, \boldsymbol{v})| \le \|\boldsymbol{u}\|\,\|\boldsymbol{v}\|, \qquad \|\boldsymbol{u} + \boldsymbol{v}\| \le \|\boldsymbol{u}\| + \|\boldsymbol{v}\|

第1式の等号は $\boldsymbol{u}, \boldsymbol{v}$ が一次従属のときに限る。

要点

$\|\boldsymbol{u} + t\boldsymbol{v}\|^2 \ge 0$ が任意の実数 $t$ で成り立つので、 $t$ の2次式の判別式が $0$ 以下になることから示す。実内積空間では $\cos\theta = (\boldsymbol{u}, \boldsymbol{v})/(\|\boldsymbol{u}\|\|\boldsymbol{v}\|)$ で角を定義できる。

グラム・シュミットの直交化と正射影

グラム・シュミットの直交化

直交化: $\boldsymbol{u}_k = \boldsymbol{a}_k - \sum_{i=1}^{k-1} (\boldsymbol{a}_k, \boldsymbol{e}_i)\,\boldsymbol{e}_i, \qquad \boldsymbol{e}_k = \frac{\boldsymbol{u}_k}{\|\boldsymbol{u}_k\|}$
$\boldsymbol{a}_1, \dots, \boldsymbol{a}_n$ が一次独立なら $\boldsymbol{u}_k \neq \boldsymbol{0}$ で、 $\boldsymbol{e}_1, \dots, \boldsymbol{e}_k$ は $\boldsymbol{a}_1, \dots, \boldsymbol{a}_k$ と同じ空間を張る。
部分空間への正射影: $P_W\boldsymbol{v} = \sum_{i=1}^{k} (\boldsymbol{v}, \boldsymbol{e}_i)\,\boldsymbol{e}_i$
$\boldsymbol{e}_1, \dots, \boldsymbol{e}_k$ は $W$ の正規直交基底。 $\boldsymbol{v} - P_W\boldsymbol{v}$ は $W$ と直交し、 $P_W\boldsymbol{v}$ は $W$ の中で $\boldsymbol{v}$ に最も近い点である。
射影行列: $P = A(A^{\mathsf T}A)^{-1}A^{\mathsf T}, \qquad P^{\mathsf T} = P, \quad P^2 = P$
$A$ の列が $W$ の基底（直交していなくてよい）のとき、 $\mathbb{R}^n$ の標準内積で。

直交化の途中で $\boldsymbol{u}_k$ を定数倍しても直交性は変わらない。分数を避けるために $\boldsymbol{u}_k$ を整数ベクトルに直してから正規化してよい。 $\boldsymbol{u}_k = \boldsymbol{0}$ になったら、 $\boldsymbol{a}_k$ はそれより前のベクトルの一次結合である。

実対称行列の直交対角化

定義

直交行列とユニタリ行列

実正方行列 $Q$ が $Q^{\mathsf T}Q = I$ を満たすとき直交行列という。 $Q^{-1} = Q^{\mathsf T}$ で、列ベクトルは正規直交基底をなし、 $\|Q\boldsymbol{x}\| = \|\boldsymbol{x}\|$ 、 $\det Q = \pm 1$ である。複素正方行列で $U^{*}U = I$ （ $U^{*} = \overline{U}^{\mathsf T}$ ）を満たすものをユニタリ行列という。

定理・法則

実対称行列のスペクトル定理

条件

$A$ は $n$ 次実対称行列（ $A^{\mathsf T} = A$ ）。

主張

$A$ の固有値はすべて実数である。
異なる固有値に属する固有ベクトルは直交する。
直交行列 $Q$ があって $Q^{\mathsf T}AQ = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$ となる。

逆に、実行列が直交行列で対角化できるなら、その行列は対称である。

要点

$A\boldsymbol{v} = \lambda\boldsymbol{v}$ のとき $\lambda\|\boldsymbol{v}\|^2 = \overline{\boldsymbol{v}}^{\mathsf T}A\boldsymbol{v} = \overline{\lambda}\|\boldsymbol{v}\|^2$ から $\lambda$ は実数。 $\lambda \neq \mu$ なら $\lambda(\boldsymbol{v}, \boldsymbol{w}) = (A\boldsymbol{v}, \boldsymbol{w}) = (\boldsymbol{v}, A\boldsymbol{w}) = \mu(\boldsymbol{v}, \boldsymbol{w})$ から直交する。

定理・法則

正規行列のユニタリ対角化

条件

$A$ は $n$ 次複素正方行列。

主張

$A$ がユニタリ行列で対角化できる（ $U^{*}AU$ が対角行列になる $U$ がある）ことと、 $A$ が正規行列（ $AA^{*} = A^{*}A$ ）であることは同値である。エルミート行列（ $A^{*} = A$ ）の固有値は実数、ユニタリ行列の固有値は絶対値 $1$ である。

要点

回転行列 $\begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$ は正規行列で、固有値 $\pm i$ をもち、ユニタリ行列で対角化できる。実数の範囲では対角化できない。

直交化と直交対角化の計算例

計算例

グラム・シュミットの直交化

$\boldsymbol{a}_1 = (1, 1, 0)^{\mathsf T}, \boldsymbol{a}_2 = (1, 0, 1)^{\mathsf T}, \boldsymbol{a}_3 = (0, 1, 1)^{\mathsf T}$ を、この順に正規直交化せよ。

解答

$\boldsymbol{e}_1 = \frac{1}{\sqrt{2}}(1, 1, 0)^{\mathsf T}$ 。

$(\boldsymbol{a}_2, \boldsymbol{e}_1)\boldsymbol{e}_1 = \frac{1}{2}(1, 1, 0)^{\mathsf T}$ なので $\boldsymbol{u}_2 = (\frac{1}{2}, -\frac{1}{2}, 1)^{\mathsf T}$ 。 $2$ 倍して $(1, -1, 2)^{\mathsf T}$ を正規化し、 $\boldsymbol{e}_2 = \frac{1}{\sqrt{6}}(1, -1, 2)^{\mathsf T}$ 。

$(\boldsymbol{a}_3, \boldsymbol{e}_1) = \frac{1}{\sqrt{2}}$ 、 $(\boldsymbol{a}_3, \boldsymbol{e}_2) = \frac{1}{\sqrt{6}}$ から

\boldsymbol{u}_3 = \begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix} - \frac{1}{2}\begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} - \frac{1}{6}\begin{pmatrix} 1 \\ -1 \\ 2 \end{pmatrix} = \frac{2}{3}\begin{pmatrix} -1 \\ 1 \\ 1 \end{pmatrix}, \qquad \boldsymbol{e}_3 = \frac{1}{\sqrt{3}}\begin{pmatrix} -1 \\ 1 \\ 1 \end{pmatrix}

検算

$(\boldsymbol{e}_1, \boldsymbol{e}_2) \propto 1 - 1 + 0 = 0$ 、 $(\boldsymbol{e}_1, \boldsymbol{e}_3) \propto -1 + 1 + 0 = 0$ 、 $(\boldsymbol{e}_2, \boldsymbol{e}_3) \propto -1 - 1 + 2 = 0$ 。 $\|(1, -1, 2)\| = \sqrt{6}$ のように、各ベクトルは割った数がちょうどノルムになっていて、正規化後のノルムは $1$ 。

計算例

重複固有値をもつ対称行列の直交対角化

$S = \begin{pmatrix} 2 & 1 & 1 \\ 1 & 2 & 1 \\ 1 & 1 & 2 \end{pmatrix}$ を直交行列で対角化せよ。

解答

$S = I + J$ （ $J$ は全成分 $1$ ）で、 $J$ の固有値は $3, 0, 0$ なので $S$ の固有値は $4, 1, 1$ 。

$\lambda = 4$ の固有空間は $(1, 1, 1)^{\mathsf T}$ が張る。 $\lambda = 1$ の固有空間は $x + y + z = 0$ の平面で、基底 $(1, -1, 0)^{\mathsf T}, (1, 0, -1)^{\mathsf T}$ を直交化すると $(1, -1, 0)^{\mathsf T}, (1, 1, -2)^{\mathsf T}$ （定数倍を調整した）。それぞれ正規化して

Q = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\ 0 & -\frac{2}{\sqrt{6}} & \frac{1}{\sqrt{3}} \end{pmatrix}, \qquad Q^{\mathsf T}SQ = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 4 \end{pmatrix}

検算

固有値の和 $1 + 1 + 4 = 6 = \operatorname{tr} S$ 、積 $4 = \det S$ 。 $(1, 1, 1)$ は $(1, -1, 0)$ とも $(1, 1, -2)$ とも内積 $0$ で、異なる固有値の固有ベクトルが直交している。

計算例

平面への正射影

$\boldsymbol{b} = (1, 2, 3)^{\mathsf T}$ の、平面 $W: x + y + z = 0$ への正射影を求めよ。

解答

$W$ の法線ベクトルは $\boldsymbol{n} = (1, 1, 1)^{\mathsf T}$ 。 $\boldsymbol{b}$ から $\boldsymbol{n}$ 方向の成分を引いて

P_W\boldsymbol{b} = \boldsymbol{b} - \frac{(\boldsymbol{b}, \boldsymbol{n})}{\|\boldsymbol{n}\|^2}\boldsymbol{n} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} - \frac{6}{3}\begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix} = \begin{pmatrix} -1 \\ 0 \\ 1 \end{pmatrix}

検算

$-1 + 0 + 1 = 0$ なので結果は $W$ に入る。 $\boldsymbol{b} - P_W\boldsymbol{b} = (2, 2, 2)^{\mathsf T}$ は $\boldsymbol{n}$ に平行で $W$ と直交する。射影行列 $I - \boldsymbol{n}\boldsymbol{n}^{\mathsf T}/3$ を掛けても同じ結果になる。

答案でよくある誤り

1
固有ベクトルを並べただけの行列を $Q$ とする。直交行列にするには、各列のノルムを $1$ に正規化する。正規化しないと $Q^{\mathsf T} \neq Q^{-1}$ で、 $Q^{\mathsf T}SQ$ は対角行列にならない。
2
重複固有値の固有空間で、基底を直交化せずに使う。 $(1, -1, 0)$ と $(1, 0, -1)$ はどちらも固有ベクトルだが直交しない。同じ固有空間の中でグラム・シュミットの直交化を行う。
3
異なる固有値の固有ベクトルまで混ぜて直交化する。実対称行列では異なる固有値の固有ベクトルは初めから直交しているので、直交化は固有空間ごとに行えばよい。混ぜると固有ベクトルでなくなる。
4
対称でない行列を直交行列で対角化しようとする。直交対角化できる実行列は対称行列に限る。対称でない行列は、対角化できても $P$ は一般に直交行列にならない。
5
複素ベクトルのノルムを $\sum v_i^2$ で計算する。複素数では $\sum |v_i|^2 = \sum v_i\overline{v_i}$ で、共役をとらないと $(1, i)$ のノルムが $0$ になってしまう。