【アンサンブル学習】多様性が大事！？バギング、ランダムフォレスト編 - これで無理なら諦めて！世界一やさしいデータ分析教室
前回・前々回は、決定木と木の剪定方法について学習しました。 www.randpy.tokyo www.randpy.tokyo 決定木は、可読性が高いという点で実際に今働いている職場でもよく使われる手法ですが、問題点としては学習データに依存しすぎる点にあり、汎用的なモデルを作ることが難しいです。 今回は、そのような問題に克服するためのバギング・ランダムフォレストの手法についてやっていきます！ また関連する手法で、kaggleなどでよく使われるブースティングについては、また別途まとめたいと思います。 今回も「はじめてのパターン認識」を参考にさせていただきながら、なるべくわかりやすく説明していきたいと思いますー！ はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ
ブートストラップ
ブートストラップとは ブートストラップ（bootstrap）は統計学者Efronが(考案した|流行らせた)計算方法です。 コンピュータによるシミュレーションの一種ですが，データを乱数で生成するのではなく，実際のデータに基づいた推論ができるのが，ブートストラップの特徴です。 例えば平均値と中央値（メジアン）のどちらが安定か（ぶれが少ないか）を調べるために，通常のシミュレーションでは「乱数でデータを生成して平均値と中央値を計算する」という作業を何度も繰り返し，その分布を比較します。これに対して，ブートストラップでは，「実際のデータ（n 個）からランダムに n 個を復元抽出（重複を許した抽出）し，その平均値と中央値を計算する」という作業を何度も繰り返します。例えば実際のデータが (2, 3, 5, 7) であれば，それから復元抽出した (2, 3, 3, 7), (3, 5, 7, 7), (2
Rと集団学習
集団学習(ensemble learning)は、決して精度が高くない複数の結果を統合・組み合わせることで精度を向上させる機械学習方法である。複数の結果の統合・組み合わせの方法としては、分類問題では多数決、数値の予測(回帰)問題では平均が多く用いられている。 集団学習では、異なる重み、あるいは異なるサンプルから単純なモデルを複数作成し、これらを何らかの方法で組み合わせることで、精度と汎化力を両立するモデルを構築する。 本稿では、集団学習方法による、回帰・分類のアルゴリズムバギング(bagging)、ブースティング(boosting)、ランダム森(random forest)の基本概念およびこれらのRのパッケージと関数を紹介する。 機械学習の問題では、学習によって回帰・分類を行うシステムを学習機械と呼ぶ。文献によっては学習機械を仮説(hypothesis)、分類器・識別器(classi
ブートストラップ - 機械学習の「朱鷺の杜Wiki」
ブートストラップサンプリング† サンプル集合 \(X=\{x_i\}^N\) から，重複を許してサンプリングして新たなサンプル集合 X' を作る方法 ↑ ブートストラップ法† 与えられたサンプル集合 X を用いて，学習器の汎化 e* を推定する方法 \(i = 1,\ldots,m\) について以下の値を計算 X からブートストラップサンプリング でサンプル集合 X'i を生成 訓練集合に X'i を，テスト集合に X を使って推定したエラーを \(e_i\) 訓練集合に X'i を，テスト集合に X'i を使って推定したエラーを \(\hat{e}_i\) 汎化誤差と経験誤差の差 \(R_i=e_i-\hat{e}_i\) を計算 訓練集合に X を，テスト集合に X を使って推定したエラーを \(e\) 汎化誤差の推定値は \(e + \frac{1}{n}\sum_i^n R_i\)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
村田研究室のページ
