重回帰分析参考サイト

自分用のメモです。言葉足らずですし、間違えていることもあります。

重回帰モデルの理論と実装 -なぜ正則化が必要か- | Deploy on Friday

正則化ってなにをしてるかについて。正規方程式で $^tXX$ が正則でない（逆行列もたない）ときになんらかで調整したい。例えばリッジは誤差二乗和に $λ| \boldsymbol{\beta} |^2$ を足すことで、 $\boldsymbol{\beta}$ で微分したりして進めたときの正規方程式の左辺が $^tXX + {\lambda}I$ みたいな感じになる。

幾何学でみる重回帰の性質 | 有意に無意味な話

幾何的にみた重回帰の解釈。 $\boldsymbol{y}$ に $X$ を作用させたら勝手に $L(X)$ に射影してくれて、射影した先 $\hat{\boldsymbol{y}}$ - $\boldsymbol{y}$ と $L(X)$ は直交してくれるものだと思ってた。あまりまだ正しく理解できていない気がする。