【最適化】極小値ではなく最小値がもとまるのはなぜか

機械学習や最適化などを学んでいると、評価関数を定義してその式が最も最小なところを求める流れがあります。
その流れの中でふと疑問に思ったことがあったのですが、よく考えたら当然であることに気づきました。
今回は当たり前すぎて忘れてしまいそうなことを書きます。

疑問

疑問は以下の2つ。

1. なぜ極小ではなく、最小が求まるのか
2. 求まった値のがなぜマイナスでないといえるのか

図にすると以下のようになります。

なぜか

上記①と②の疑問の答えは、単純で「評価関数が二次式だから」です。たいていは以下の図のように
実現値と予測値の差を二乗して、その値が最小となる$i$を見つけます。
二次式は凸が一つしかないので、きれいに最小値が求まります。上記に示した図１は４次式になっています。
そして二次式なので必ず正になり、上記の疑問②になることもありません。

本当によくできているなぁと思います。