統計学

統計学

最小二乗推定量の期待値と分散

前回の記事で最小二乗推定量が$\boldsymbol{\tilde{\beta}=(X^{T}X)^{-1}X^{T}Y}$になる導出を書きました。 今回はこの期待値と分散を導出します。 最小二乗推定量の期待値の求め方 $\boldsymb...
統計学

最小二乗推定量の導出

最小二乗推定量はよく$\boldsymbol{\beta = (X^{T}X)^{-1}X^{T}Y}$と表される。今回はこの導出を行う。また、次回にこの推定量の期待値と分散を求める。 真の回帰式 次のような重回帰を考える。\begin{a...
統計学

回帰診断法~誤差項に求められる3つの仮定とは~

線形回帰モデルに外れ値がある場合に最小二乗法がうまく機能しないのはイメージできる。しかしそれと同様に、誤差項にも求められる性質がある。それは誤差項の独立性、等分散性、正規性である。そのため、誤差項がこれらの仮定を満たしているのか、また満たな...
統計学

【最適化】極小値ではなく最小値がもとまるのはなぜか

機械学習や最適化などを学んでいると、評価関数を定義してその式が最も最小なところを求める流れがあります。その流れの中でふと疑問に思ったことがあったのですが、よく考えたら当然であることに気づきました。今回は当たり前すぎて忘れてしまいそうなことを...