統計学

研究でロジスティク回帰を使った.ロジット関数や, ニクラスの場合のシグモイド関数, 多クラスの場合などのケースでやや異なるためそのあたりをまとめたい. そもそもの基礎 ロジスティク回帰の役割を知るためにまず2値応答から始める. 2値応答 結...

統計検定準1級のためサポートベクトターマシンを学んでいる.ここではその概要を記述する. アイデア フィッシャーの線形判別と同様に下の図1のような, 2つのデータを分ける超平面を考える. 図1　例 ２つのクラスを分ける超平面は無限個作ることが...

統計検定準1級の勉強のため, フィッシャーの線形判別法をまとめる.フィッシャーの線形判別法は線形判別法(LDA)の一つで, ２クラスの線形判別法のことをいう. アイデア フィッシャーの線形判別法では二つのクラス(ラベル)を分ける関数を求める...

最尤推定量やフィッシャー情報量,スコア関数, そしてクラメールラオの不等式, 有効推定量などの概念がややこしいため,　ここで整理したい. ここでは, ポアソン分布を例に考える ポアソン分布の最尤推定量 ポアソン分布の確率質量関数は次に示す通...

統計検定準１級の2018年の問4で少しつまずいたためここにまとめる.本来２級の内容であり, 忘れていた. 問題内容 次の表はインスタグラムの２０代男女の利用者数を整理したクロス統計表である. インスタグラムの利用率に男女差があるかどうかを調...

最小二乗推定量$\boldsymbol{\hat{\beta}=(X^{T}X)^{-1}X^{T}Y}$は、「不偏(期待値を求めると真の値になる。)」で「線形」な推定量の中で、最も分散が最小になる。（=最良線形不偏推定量：Best Lin...

前回の記事で最小二乗推定量が$\boldsymbol{\tilde{\beta}=(X^{T}X)^{-1}X^{T}Y}$になる導出を書きました。 今回はこの期待値と分散を導出します。 最小二乗推定量の期待値の求め方 $\boldsymb...

最小二乗推定量はよく$\boldsymbol{\beta = (X^{T}X)^{-1}X^{T}Y}$と表される。今回はこの導出を行う。また、次回にこの推定量の期待値と分散を求める。 真の回帰式 次のような重回帰を考える。\begin{a...

線形回帰モデルに外れ値がある場合に最小二乗法がうまく機能しないのはイメージできる。しかしそれと同様に、誤差項にも求められる性質がある。それは誤差項の独立性、等分散性、正規性である。そのため、誤差項がこれらの仮定を満たしているのか、また満たな...

機械学習や最適化などを学んでいると、評価関数を定義してその式が最も最小なところを求める流れがあります。その流れの中でふと疑問に思ったことがあったのですが、よく考えたら当然であることに気づきました。今回は当たり前すぎて忘れてしまいそうなことを...