Projection Pursuit

ちょっと調べてみた結果、Projection PursuitはPCAみたいに次元を減らすのを目的として使われることが多い手法です。PCAと似ているという印象は正解。わかりやすかったページを簡単にまとめておきます。

一次変換を通して「各次元の分散を最大にする」PCAとは違い、Projection Pursuitでは「各次元の“面白さ”を最大にする」のだそうです。最も「面白くない」分布と言えばガウス分布。逆に、面白さ最大ということは、非ガウス性を最大にすれば良いのです。そこで思いつくのがdifferential entropyというもの。情報工学でも出てくるエントロピーですが、それの連続なもの。でも、このdifferential entropyを計算するには、Projection Pursuitの計算結果となる分布をあらかじめ知っておかなければならないという問題があるので、簡単に使うことができません。そこで代替となるいくつかの手法が提案されているとか。

このページはFastICAの開発を行った人のページですね。ICA(Independent Component Analysis)はすごいというのを見せるために、旧来手法を総括するということで、PCAやPPが簡単に解説されていたのでした。