Boostingの並列化 - 射撃しつつ前転 改
パターン認識と学習の統計学のp.153に「バギングは並列化が可能であるので、並列計算機を用いることによって計算時間を大幅に短縮できるが、ブースティングは逐次的にしか計算できないので、計算時間は生成する弱仮説の数に比例して長くなることになる」と書いてあったので、ブースティングって並列化できないんだなぁ、と思っていたんだけれど、こないだAdaBoostをちょっと真面目に考えてみたら、弱学習器を選べば並列化が可能な場合もあるという事に気づいた。 そもそも、よく読んでみると、パターン認識と学習の統計学には「ブースティングは並列化できない」とは一言も書いていない。これは実は意図的だったりするんじゃないかと思う。「生成する弱仮説の数に比例して計算時間が長くなる」というのはまったくその通りで、データの重み付けを逐次的に変更しながら学習を繰り返すというAdaBoostの仕様上、これはどうしようもない。ただ
ブースティング - 機械学習の「朱鷺の杜Wiki」
ブースティング (boosting) / AdaBoost† バギングとならぶ代表的なアンサンブル学習の手法で，クラス分類問題を扱う． 弱学習器は，各事例を重み付けして学習できるものでなくてはならない． アルゴリズム AdaBoost \(D_t(\mathbf{x}_i)\) を均一に初期化． 以下の手続きを \(t=1,2,\ldots,T\) について反復 現在の誤分類率分布 \(D_t(\mathbf{x}_i)\) の重み付けを用いて，弱学習器に分類器 \(C_t(x)\) を生成させる． 誤分類率分布 \(D_t(\mathbf{x}_i)\) で重み付けした，データ集合 \(\{\mathbf{x}_i\}\) に対する誤分類率を \(\epsilon_t\) とする． \(\beta_t=\epsilon_t/(1-\epsilon_t)\) 誤分類分布を更新：事例 \(\
ymuto109の日記 - AdaBoostに関する調査
AdaBoost は Freund と Schapier によって提案された． 学習データが外れ値などのノイズをあまり含まなければ，高い判別能力を示す． 変種として Discrite AdaBoost, Gentle AdaBoost, Real AdaBoost, Logit AdaBoost, Modest adaBoost などがある． 損失関数 上記の AdaBoost, Logit Boost, MadaBoost は損失関数によって異なるのみ（？） (http://www.msi.co.jp/vmstudio/materials/files/misc/boosting.ppt を見よ） ブースティングの案内ページ http://ibisforest.org/index.php?%E3%83%96%E3%83%BC%E3%82%B9%E3%83%86%E3%82%A3%E3%83
ブースティング - Wikipedia
ブースティング（英: Boosting）とは、教師あり学習を実行するための機械学習メタアルゴリズムの一種。ブースティングは、Michael Kearns の提示した「一連の弱い学習器をまとめることで強い学習器を生成できるか？」という疑問に基づいている[1]。弱い学習器は、真の分類と若干の相関のある分類器と定義される。対照的に、強い学習器とは真の分類とよく相関する分類器である。 Michael Kearns の疑問への肯定的解答は、機械学習や統計学に多大な影響を及ぼしている。 アルゴリズム[編集] ブースティングはアルゴリズム的に制限されてはおらず、多くの場合、分布に従って弱い分類器に繰り返し学習させ、それを最終的な強い分類器の一部とするものである。弱い分類器を追加する際、何らかの方法で重み付けをするのが一般的で、重み付けは弱い学習器の正確さに関連しているのが一般的である。弱い学習器が追加さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.cs.princeton.edu/~schapire/boost.html
