Scikit-learnによるランダムフォレスト決定木 (decision tree) は最も簡単な論理体系からなる機械学習法のひとつであり，入力ベクトルを学習することにより，その過程で自然に重要な特徴量の抽出および順位付けをすることができる手法である．決定木は多くの機械学習法において問題となる過学習を起こすことがあり得るが，これを集団学習を用いることで起こし難くしたのがランダムフォレスト (random forest) である．決定木をたくさん組み合わせることによって構築される予測器なので名称にフォレストが冠されている．ランダムフォレストでは，データをブートストラップサンプリングにより複数個サンプリングし，それらに対して決定木モデルを作成，それらの結果を多数決や平均ととる等の作業によって統合することで最終的な予測を行う．このような手法を集団学習 (アンサンブル学習) の中でも特に，バギングと呼ぶ． 学習させるデータの構造 以下のような
