固有値と固有ベクトル

ようやく固有値(eigenvalue)と固有ベクトル(eigenvector)の真の意味が分かりました。フーリエ変換の本当の意味が分かったときと同じくらいの感動。固有ベクトル固有値の僕なりの解釈ですが、ある行列があったときにその第一固有ベクトルは、それぞれの行ベクトルが空間の中で最ものびのびと広がっている方向(分散が最大の方向)に向いています。それに対応する第一固有値はその軸方向への広がりの大きさ(分散)と関係しています。その次に広がっている方向を向いている第二固有ベクトルは第二固有値によって広がりの大きさが表されます。出てきた固有ベクトルはすべて直交しているので、もとの行列が乗っていた軸を固有ベクトルで定義される空間に回転させることができます(主軸変換)。第一とか第二とかの順番は固有値の大きさの順に勝手に僕が呼びましたが、固有値の小さい固有ベクトルの方向への広がりは小さいので、誤差を認めて省いてしまうこともできます(主成分分析や因子分析に応用されているアイデアです)。階数(rank)や行列式(determinant)も固有ベクトルの個数や計算可能性に関連しているんですね。学部一年生のときに習ったことがようやく自分の中で決着しました。

主成分分析での主軸の発見方法と似たような方法だったというのが、自分にとっては驚きでした。学校で教えるときは固有値を学習してからその応用へとボトムアップに行くんでしょうが、僕がたどったのは、固有値の定義や計算方法は覚えたけど意味も用途も分からない/主成分分析や因子分析を使えるようになったけど背景の理論が分からない/主成分分析の背景にある理論が理解できた/固有ベクトルが理解できた、という道筋。はじめて固有ベクトルという言葉を目にしたのが1994年4月なので、それから十年半もかかりました。フーリエ変換のときは4年間かかったし、僕の場合はものごとを咀嚼するのに時間がかかりますねー。

(自分が理解するのに使ったキーワード:雲/ゴム風船/フットボールぽたぽた焼き、モヤモヤがグルグルでビローン、固有ベクトル=楕円の主軸?、行列を行ベクトルに分割、行列式=行ベクトルが作る体積、標準化して因子分析で1.0以下はsignificantじゃない、・・・)