多項式フィッティングにおける次数選定：赤池情報量規準についてまとめてみる - Qiita

赤池情報量規準についてまとめます． 会社の同期と静岡旅行中に赤池情報量規準についてあれこれ話してたので，その辺をまとめた記事です． 私はもともと機械系出身なので情報系の知識は皆無なんですが， そのぶん初心者向けになったかなーと思います． ※そのせいで結構アバウトな部分があるとは思います．ご了承ください． これはどんな記事 「多項式フィッティングの次元どうやって決めよう」 「これを最小化すればいいよ つ（AIC）」 「なにこれ？」 って感じの問題に答えます． 流れは，情報エントロピー，KLダイバージェンス，最尤推定，AICの説明と， 最後にpythonで実際に多項式フィッティングの例題でAICを計算して結果を確認します． 赤池情報量規準とは 多項式フィッティングを行う際などに，どのように次元の数を決めれば良いか，という問題が生じます．次元が少なすぎると関数の表現力が小さすぎて当てはめが上手く