統計学

最小二乗推定量$\boldsymbol{\hat{\beta}=(X^{T}X)^{-1}X^{T}Y}$は、「不偏(期待値を求めると真の値になる。)」で「線形」な推定量の中で、最も分散が最小になる。（=最良線形不偏推定量：Best Lin...

前回の記事で最小二乗推定量が$\boldsymbol{\tilde{\beta}=(X^{T}X)^{-1}X^{T}Y}$になる導出を書きました。 今回はこの期待値と分散を導出します。 最小二乗推定量の期待値の求め方 $\boldsymb...

最小二乗推定量はよく$\boldsymbol{\beta = (X^{T}X)^{-1}X^{T}Y}$と表される。今回はこの導出を行う。また、次回にこの推定量の期待値と分散を求める。 真の回帰式 次のような重回帰を考える。\begin{a...

線形回帰モデルに外れ値がある場合に最小二乗法がうまく機能しないのはイメージできる。しかしそれと同様に、誤差項にも求められる性質がある。それは誤差項の独立性、等分散性、正規性である。そのため、誤差項がこれらの仮定を満たしているのか、また満たな...

機械学習や最適化などを学んでいると、評価関数を定義してその式が最も最小なところを求める流れがあります。その流れの中でふと疑問に思ったことがあったのですが、よく考えたら当然であることに気づきました。今回は当たり前すぎて忘れてしまいそうなことを...