はてなブックマーク

アダブースト (AdaBoost) のまとめ What is アダブースト (AdaBoost) ? アダブーストは、ランダムよりも少し精度がいいような弱い識別機を組みわせて、強い識別機を作成しようとする機械学習モデルです。 作り方の流れは、 まず、弱い識別機の適用させ、誤分類してしまったものの重みを増やす。 そして、次にその重みがついたものを優先的にみて、分類する。ということを繰り返します。 下記の図を参考にするとわかりやすいです。Youtube のリンクも貼っておいたので、詳しく知りたい方は見てみてください、 Extracted from Alexander Ihler's youtube video 上記の図では、最初にD1で弱い識別機を使って、分類し、D2で誤分類した '+'1個と'-'2個の重みを増やしています。次にその誤分類された３つを優先的に考えて、また分類しています。ここで

複数の機械学習ライブラリを一発で適応する方法です。 機械学習では、データをトレーニング用とテスト用の2つにわけ、精度を測りますよね。そこで、簡単にデータを分けられるのがKFoldです。その他にも、StatifiedKFoldやShuffleSplitなどもありますが、今回はKFoldを使います。 まず交差検定の一つであるsklearnのKFoldについて KFoldはデータをk個のデータセットに分け、例えば１０個に分けたら、９個をトレーニング用のデータセットとして使い、残りの1個をテスト用として使います。ちなみに、この場合、分けられた10個のデータセットがテスト用として必ず1回使われるように10回検定します。defaultのコードは下記のようになっています。