機械学習における勾配ブースティングのアルゴリズム「XGBoost」「LightGBM」「CatBoost」の違い
データアナリスト／データサイエンティストのためのカジュアルな勉強会「Data Gateway Talk」。「GBDTアルゴリズム」というテーマで登壇した工学院大学情報学部コンピュータ科学科のYasshieeee氏は、勾配ブースティングの基本、そしてアルゴリズム「XGBoost」「LightBGM」「CatBoost」の違いについて説明しました。 趣味はWebプロ・ゲーム・マインクラフト Yasshieeee氏：場違い感がすごいですが、一応、僕は大学生です。LTには若干慣れている予感はするんですけど、大学生なりのクオリティなのでご了承ください。 題名には「XGBoostについて」と書いたんですが、そもそも最初からXGBoostのすごく深いところまでいくのは、ちょっと初心者向けではないかなと思って……。今回は、XGBoostであるGradient Boost Decision Treeのア
アンサンブル学習のブースティングとバギングの違いについて | データ分析とインテリジェンス
どっちがどっちで何しているんだっけ？ ブースティングとバギングの区別がようやくつくようになってきた（気がする）がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。 アンサンブル学習とは アンサンブル学習とはようするに「1回で決めるよりたくさんやって平均取った方がいいんじゃね？」というアプローチということであると理解している。たしかにその方がより正しそうな結論がでそうだし、異常値などに引っ張られることも少なくなったりするだろうと想像はつく。細かいやり方は違うけどやっていることは至極自然な発想。 1つの方法として、データ全てを使うのではなくその一部を使って学習し、それを何度も繰り返して最後に合わせる方法が考えられる。それがバギングである。 ランダムフォレスト バギングの1つの方法。学習に決定木を使うのでこの名前らしい。抽出の際に説明変数もランダ
Rと集団学習
集団学習(ensemble learning)は、決して精度が高くない複数の結果を統合・組み合わせることで精度を向上させる機械学習方法である。複数の結果の統合・組み合わせの方法としては、分類問題では多数決、数値の予測(回帰)問題では平均が多く用いられている。 集団学習では、異なる重み、あるいは異なるサンプルから単純なモデルを複数作成し、これらを何らかの方法で組み合わせることで、精度と汎化力を両立するモデルを構築する。 本稿では、集団学習方法による、回帰・分類のアルゴリズムバギング(bagging)、ブースティング(boosting)、ランダム森(random forest)の基本概念およびこれらのRのパッケージと関数を紹介する。 機械学習の問題では、学習によって回帰・分類を行うシステムを学習機械と呼ぶ。文献によっては学習機械を仮説(hypothesis)、分類器・識別器(classi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
村田研究室のページ
